La inteligencia artificial aprende del mundo que ya existe., y ese mundo no es neutral.

Si una sociedad arrastra patrones históricos de machismo, discriminación o desigualdad, los sistemas automatizados aprenden esas correlaciones y terminan reproduciéndolas estadísticamente.

Eso fue exactamente lo que ocurrió cuando Amazon desactivó un sistema de contratación automatizada después de descubrir que penalizaba currículums de mujeres. El modelo había sido entrenado con historiales dominados por hombres dentro de la industria tecnológica y terminó concluyendo que los perfiles masculinos eran preferibles.

La inteligencia artificial no inventó el prejuicio, aprendió del comportamiento histórico disponible y después lo automatizó, en otras palabras: el sistema aprende del tipo de sociedad que somos.

En los artículos anteriores hablamos de la inteligencia artificial como un fenómeno estructural. Primero reorganizó información. Después comenzó a concentrarse en infraestructura privada capaz de administrar enormes volúmenes de datos. Más tarde descubrimos que tampoco funciona sola: depende de millones de trabajadores invisibles que corrigen errores y alimentan constantemente los modelos para evitar que se degraden.

Ahora aparece una etapa todavía más delicada, la inteligencia artificial comienza a participar en decisiones institucionales capaces de afectar acceso a oportunidades, vigilancia, recursos y niveles de atención pública.

Durante años pensamos que la IA servía principalmente para responder preguntas, acelerar trámites o reducir carga operativa. Pero poco a poco los sistemas automatizados comenzaron a entrar en algo mucho más sensible: la interpretación institucional de la realidad.

Hoy participan en procesos de seguridad pública, contratación laboral, evaluación financiera, monitoreo urbano, análisis predictivo y distribución automatizada de apoyos y servicios. El fenómeno ya no se limita a Silicon Valley ni a plataformas digitales.

Empieza a integrarse silenciosamente en infraestructura cotidiana que organiza decisiones públicas y privadas.

Sistemas de seguridad detectan movimientos considerados sospechosos antes de que ocurra un incidente. Plataformas financieras calculan riesgo antes de otorgar crédito. Modelos automatizados clasifican perfiles, zonas y comportamientos mediante sistemas predictivos que operan todos los días sin que la mayoría de las personas siquiera lo note.

Ahí surge una transformación importante, las correlaciones estadísticas empiezan a influir en decisiones reales.

Porque un sistema predictivo no necesita certeza absoluta para actuar. Le basta detectar suficientes patrones para asignar niveles de riesgo, prioridad o confiabilidad.

Y eso modifica profundamente la lógica de muchas decisiones institucionales.

En México, distintos sistemas públicos y privados comienzan a incorporar inteligencia artificial para priorizar alertas, detectar anomalías y automatizar análisis operativos. Infraestructura de monitoreo urbano, plataformas financieras y sistemas administrativos empiezan a operar mediante modelos capaces de identificar patrones de comportamiento en tiempo real.

La discusión no gira alrededor de si estas herramientas pueden ser útiles, resulta lógico pensar que en contextos de violencia, saturación operativa o enormes volúmenes de información, negar su capacidad técnica sería ingenuo.

La tensión aparece en otro punto: muchas decisiones comienzan a construirse sobre modelos entrenados con datos históricos profundamente desiguales, y esas decisiones ya no afectan únicamente publicidad o recomendaciones de contenido.

Empiezan a influir en qué perfiles reciben mayor vigilancia, qué zonas son consideradas prioritarias para monitoreo, qué usuarios representan “riesgo” financiero, qué solicitudes institucionales reciben atención preferente o qué perfiles son considerados más compatibles para un empleo, apoyo o trámite.

Aunque México todavía no enfrenta un escándalo algorítmico realmente preocupante, las alertas ya comenzaron a aparecer. Organizaciones especializadas en derechos digitales han advertido sobre el crecimiento de sistemas de reconocimiento facial y monitoreo automatizado.

En nuestro país, este tipo de modelos ya comienza a integrarse en distintos niveles de la vida pública. Sistemas de reconocimiento facial y monitoreo automatizado operan en entidades como Ciudad de México, Coahuila y Sinaloa para tareas de vigilancia urbana y análisis de riesgo. Al mismo tiempo, plataformas financieras utilizan inteligencia artificial para evaluar crédito, detectar fraude y clasificar perfiles de confiabilidad económica. El gobierno federal también comenzó a implementar herramientas automatizadas para atención ciudadana y digitalización de trámites mediante plataformas como la Ventanilla 24/7 y Llave MX, capaces de centralizar información, priorizar solicitudes y automatizar procesos administrativos

Las correlaciones, sin embargo, no siempre representan causas reales, con frecuencia reflejan prejuicios históricos, desigualdades acumuladas o patrones culturales normalizados durante décadas.

La inteligencia artificial no entiende el contexto social detrás de esos datos. Detecta repetición cuando esas repeticiones provienen de sociedades profundamente desiguales, el sistema termina reproduciendo discriminación automáticamente.

Uno de los casos más conocidos ocurrió en Estados Unidos con COMPAS, un sistema algorítmico utilizado para calcular riesgo de reincidencia criminal. Investigaciones de ProPublica encontraron que el modelo tendía a clasificar desproporcionadamente a personas negras como “alto riesgo”, incluso en casos donde posteriormente no reincidían.

El sistema encuentra patrones estadísticos dentro de datos históricos y termina reproduciendo discriminación automáticamente.

Pero cuando esos patrones comienzan a utilizarse dentro de procesos institucionales, las consecuencias dejan de ser únicamente matemáticas, empiezan a afectar decisiones reales, el riesgo es real.

En Detroit, Robert Williams fue arrestado injustamente después de que un sistema de reconocimiento facial lo identificara erróneamente como sospechoso de robo. Pasó horas detenido debido a un falso positivo generado por tecnología que presentaba mayores márgenes de error en personas afroamericanas.

Y el caso neerlandés mostró hasta dónde puede escalar esta lógica cuando se integra en infraestructura pública.

En Países Bajos, distintos sistemas automatizados utilizados para detectar fraude en ayudas sociales terminaron generando uno de los mayores escándalos institucionales recientes en Europa. Miles de familias fueron clasificadas erróneamente como sospechosas de fraude, muchas pertenecientes a sectores vulnerables o comunidades migrantes. La crisis provocó investigaciones nacionales, enormes costos sociales y finalmente la renuncia del gabinete del primer ministro Mark Rutte en 2021.

Lo inquietante del caso no fue únicamente el error técnico, fue descubrir cómo un modelo estadístico podía convertir prejuicios históricos y perfiles de riesgo en decisiones institucionales aparentemente objetivas.

Algo similar ocurre en sistemas financieros automatizados, modelos utilizados para evaluar acceso a crédito o confiabilidad económica pueden terminar reproduciendo desigualdades históricas a partir de variables aparentemente neutras, como ubicación geográfica, historial financiero o patrones de consumo.

El sistema no necesita preguntar directamente raza, género o nivel socioeconómico, le basta encontrar correlaciones.

Y ahí aparece uno de los cambios más delicados de esta nueva etapa tecnológica: la automatización no elimina los prejuicios humanos, los vuelve escalables.

A esto hay que sumar que, los sistemas actuales ya no solo aprenden de humanos, empiezan también a aprender de otros sistemas automatizados.

La infraestructura digital comienza entonces a operar sobre capas cada vez más profundas de automatización estadística, y conforme eso ocurre, las decisiones empiezan a sentirse cada vez más impersonales, técnicas e inevitables.

No porque necesariamente sean correctas, sino porque vienen respaldadas por cálculo estadístico.

El cambio más profundo de esta nueva etapa tecnológica no es que las máquinas aprendan a pensar como humanos.

Es que las instituciones comienzan a tomar decisiones basadas en correlaciones estadísticas capaces de convertir prejuicios históricos en criterios automatizados de decisión.

A la inteligencia artificial no le hace falta entender completamente a una persona para clasificarla. Le basta encontrar suficientes patrones para empezar a definir qué perfiles parecen confiables, sospechosos, prioritarios o riesgosos.

Y quizá ahí aparece la pregunta más incómoda de todas:

¿Qué ocurre cuando una sociedad comienza a automatizar no solo sus procesos, sino también sus prejuicios?