Este artículo deriva de la conversación que sostuvimos en el Episodio 8 “Cuando la IA es ‘ciega’: Sesgos algorítmicos y discriminación tecnológica” de la segunda temporada del podcast “Del dicho al hecho”.
Por Daniela Mendoza Luna
¿Alguna vez han sentido que una decisión importante sobre su vida fue tomada por alguien que no los conoce en absoluto? Tal vez un banco que rechazó un crédito, o una empresa que nunca llamó tras enviar un CV.
Tradicionalmente, culpamos al «criterio humano». Decimos que el reclutador fue subjetivo o que la empleada bancaria tuvo un mal día. Por eso, durante años, nos vendieron una promesa: la inteligencia artificial sería el juez definitivo y basado en la neutralidad.
Un sistema frío, matemático e incorruptible que nos trataría a todos por igual. Pero, ¿qué pasa cuando ese juez aprende a juzgar leyendo nuestra propia historia “imperfecta”? Vamos a desglosar si la tecnología es nuestra aliada para la justicia o si está construyendo una nueva forma de discriminación, una que es invisible porque está escondida detrás de líneas de código.
Hemos transitado de una desconfianza histórica hacia el criterio humano hacia una fe casi mística en la IA. Se nos ha inducido a creer que, al delegar la justicia a un sistema de procesamiento masivo, eliminamos la mancha del prejuicio. Sin embargo, esta transferencia de autoridad es peligrosa: al aceptar la tecnología como una entidad neutral, desactivamos nuestra capacidad crítica.
La promesa de un «juez matemático incorruptible» ha resultado ser un espejismo. El choque entre la expectativa de imparcialidad y la realidad de un sistema que aprende leyendo nuestra «historia imperfecta» desgasta profundamente la confianza ciudadana.
Cuando un banco deniega un crédito o una empresa ignora un currículum, la frustración ya no se dirige a un reclutador con un «mal día», sino a una caja negra algorítmica cuya lógica es, por diseño, inaccesible. Esta deshumanización no es un error de cálculo; es el resultado directo de una arquitectura técnica que analizaremos a continuación.
La trampa del entrenamiento
Para comprender el riesgo actual, es imperativo desmitificar la IA: no es una entidad mágica, sino un destello de los datos históricos de la sociedad. Si alimentamos a la máquina con el pasado, la máquina sólo podrá proyectar una versión optimizada de las injusticias de ese pasado. El peligro real no es la réplica, sino la amplificación: mediante «filtros algorítmicos», el sistema transforma los sesgos individuales en reglas matemáticas rígidas, escalables y, por tanto, devastadoras.
Estas cicatrices digitales se materializan en sectores donde la exclusión ya es sistémica:El uso de metadatos (modelo de teléfono, apps instaladas o código postal) para determinar la solvencia. Esto penaliza a quienes habitan zonas históricamente marginadas, reviviendo prácticas de segregación financiera bajo un barniz de eficiencia.
Algoritmos que penalizan términos asociados a la identidad femenina o descartan universidades que no figuran en el canon del «éxito» histórico, compuesto mayoritariamente por perfiles homogéneos.
Estos fallos no son accidentes; son síntomas de una estructura diseñada sin una lente de justicia social, lo que nos obliga a cuestionar la intencionalidad detrás del código.
Neutralidad: una promesa sin cumplir
En este escenario, la voz de José Antonio Aguilar Contreras, Director de Racismo MX y experto de la ONU, resulta fundamental para desmantelar la supuesta inocencia de los desarrolladores. Aguilar sostiene que la discriminación en la IA no es un subproducto inevitable de los datos, sino una responsabilidad política de quienes sostienen el lápiz digital.
«Los algoritmos no son neutrales… están diseñados estructuralmente para generar una discriminación, pues digamos un poco voluntariamente».
Esta «discriminación voluntaria» ocurre cuando los desarrolladores establecen «parámetros primigenios» que priorizan ciertos resultados sobre otros. La IA no es «inteligente» en un vacío; simplemente perfecciona una instrucción sesgada proporcionada por un humano. Para Aguilar, la neutralidad técnica es una herramienta de marketing:
«La promesa fue realmente como una promesa sin cumplir», afirma. Al final, el diseño de un algoritmo es un ejercicio de poder en un espacio donde la representación se gana o se pierde.
«El territorio digital también es un territorio en disputa»
El análisis tecnológico debe ser interseccional. La IA no golpea a todos por igual; exacerba la vulnerabilidad de quienes ya “habitan los márgenes”. Un caso crítico es la exclusión lingüística: en México, la falta de un «corpus» de información en lenguas como el náhuatl o el maya crea una brecha insalvable.
Si los datos no existen, los beneficios de la ingeniería o la medicina impulsada por IA jamás llegarán a estas poblaciones, consolidando un borrado digital que es, en esencia, violencia estructural.
Esta deshumanización se vuelve industrial en la difusión de desinformación. Herramientas como Grok, integradas en la red social X bajo marcos ideológicos supremacistas o desregulados, facilitan la producción masiva y barata de discursos de odio. Al retratar a migrantes o personas afrodescendientes como amenazas, la IA legitima políticas de opresión estatal, al fabricar un consenso social basado en la alteridad criminalizada; construye el escenario moral donde la opresión se vuelve aceptable.
La tecnología debe servir al humano y no al revés. Es urgente una visión ética en la formación profesional donde el costo social de una herramienta jamás sea ignorado en favor del lucro. Sin embargo, enfrentamos una resistencia corporativa feroz. Mientras la UNESCO y países como Brasil establecen estándares, las grandes tecnológicas (Big Tech) resisten la regulación alegando que cambiar un algoritmo «pone en riesgo la integridad del sistema».
Esta resistencia es política y económica. Como señala Aguilar, empresas con menor cuota de mercado, como Microsoft, pueden mostrarse más dispuestas a adherirse a principios éticos como táctica competitiva, mientras que los actores dominantes protegen su hegemonía.
No obstante, el cambio es posible: la presión de la sociedad civil forzó a Google a modificar sus algoritmos tras mostrar resultados sexualizados de «niñas negras» en EE. UU. y contenidos antisemitas en Francia. La regulación no es un obstáculo para la innovación, sino una salvaguarda para la dignidad.
Cuatro consejos prácticos para la soberanía digital
Para navegar este territorio en disputa, debemos transitar del consumo pasivo a la ciudadanía digital activa:
1. No acepte el «rechazo algorítmico» como una verdad absoluta. Es un derecho cuestionar los criterios de decisión y exigir rendición de cuentas sobre la lógica de las cajas negras.
2. El uso de herramientas como el Racismo MX representa un acto de soberanía digital. Alimentar el entorno con datos verificados y pedagógicos es la única forma de contrarrestar el sesgo de las bases de datos masivas.
3. Priorice tecnologías que se adhieran a las guías éticas de la UNESCO y busque alternativas a las plataformas que amplifican discursos de odio bajo el velo de la libertad de expresión.
4. Aprenda a detectar cuándo la IA está siendo utilizada para deshumanizar o naturalizar estereotipos. La detección del sesgo es el primer paso para su desmantelamiento.
La IA puede ser el microscopio que nos ayude a detectar nuestros propios prejuicios para corregirlos, o puede ser el muro que automatice la desigualdad. La decisión no está en el algoritmo, sino en nosotros.
