En un mundo donde las decisiones automatizadas se están convirtiendo en la norma, tanto en la contratación como en el acceso al crédito, surge la preocupación por el potencial de exclusión que estas prácticas generan. Cristina Fritz, experta en tecnología y cofundadora de Digital eXp, ha señalado que muchos postulantes quedan fuera del proceso sin ninguna explicación, simplemente porque el sistema ha decidido que no cumplen con los criterios necesarios. Esta falta de transparencia puede cerrar oportunidades valiosas para individuos que merecen ser considerados, pero que, debido a errores en los datos o criterios discriminatorios, son descartados sin recibir la oportunidad de defender su caso.
La automatización en los procesos de selección de personal plantea desafíos adicionales, más allá de la búsqueda inicial de palabras clave en un currículum. Un estudio reciente de la Revista Chilena de Derecho y Tecnología destaca que los algoritmos mal diseñados pueden confundir a candidatos con trayectorias únicas como personas no capacitadas para el puesto, un fenómeno que es difícil de identificar y cuestionar por parte de los postulantes. “No se trata simplemente de aplicar filtros; es crucial contar con un sistema que no discrimine de manera involuntaria. Si no hay un proceso de revisión para aquellos que son eliminados, se corre el riesgo de perder talento valioso”, sostiene Fritz, poniendo de manifiesto la necesidad de una revisión humana en el proceso.
El ámbito financiero no es menos complicado, ya que la calidad de la información y su correcta gestión son esenciales para evitar rechazos injustos. Este 21 de octubre, la Comisión para el Mercado Financiero emprendió una consulta para revisar las normas del Registro de Deuda Consolidada, enfocándose en la actualización y corrección de datos. Si bien no se trata de un problema generalizado, esta revisión abre el espacio para un debate importante sobre cómo se gestionan y corrigen los antecedentes financieros de los solicitantes, un aspecto crítico para aquellos que buscan acceder a créditos.
Desde el punto de vista tecnológico, el simple hecho de corregir un dato original no asegura que las decisiones futuras se basen en información precisa. Muchas veces, los sistemas utilizados para evaluar a los solicitantes siguen operando con datos desactualizados, lo que puede dar lugar a situaciones donde un individuo se encuentra evaluado con información incorrecta. “El hecho de que un dato sea rectificado no es suficiente si el sistema continúa funcionando con esa versión anterior. Es vital que cualquier corrección se integre adecuadamente en los procesos que dependen de esa información”, explica Fritz, enfatizando la necesidad de un enfoque holístico en el manejo de datos.
Ante estos riesgos, Digital eXp propone medidas claras para asegurar que las correcciones se reflejen en todos los sistemas involucrados. Una de las sugerencias es la realización de pruebas de filtros con perfiles ficticios en los procesos de reclutamiento, con el fin de identificar sesgos en la exclusión de candidatos. Fritz destaca que diseñar una arquitectura tecnológica adecuada y un modelo de datos sólido es esencial para la implementación de sistemas automatizados de inteligencia artificial. «La empresa que decida automatizar estos procesos debe también asumir la responsabilidad de cualquier error. Lo que está en juego son oportunidades reales para personas reales, que no deben ser sacrificadas en el altar de la eficiencia”, concluye, recordando la importancia de equilibrar la tecnología con la evaluación humana.
