El sesgo algorítmico ocurre cuando un sistema de IA trata de forma sistemáticamente distinta a distintos grupos de personas, sin que nadie lo haya programado explícitamente para eso. No hace falta mala intención: basta con que los datos usados para entrenar el sistema reflejen desigualdades ya existentes en el mundo real.
Un ejemplo simplificado: si un sistema de selección de personal se entrena con datos de contrataciones pasadas, y esas contrataciones pasadas favorecieron —por la razón que sea— a cierto perfil de candidatos, el sistema puede «aprender» ese patrón y replicarlo, incluso si nadie le pidió explícitamente que discrimine.
El sesgo también puede colarse por decisiones de diseño: qué variables se incluyen en el modelo, cómo se etiquetan los datos de entrenamiento, o qué se define como «éxito» al evaluar el resultado del sistema.
Por eso, en decisiones que afectan derechos o oportunidades de las personas —crédito, empleo, acceso a servicios— la revisión humana y la posibilidad real de cuestionar una decisión automatizada no son un formalismo: son la principal salvaguarda contra un sesgo que ni siquiera quienes diseñaron el sistema sabían que existía.