Sesgo: datos y diseño, no mala intención

El sesgo en la IA no consiste en que alguien programe un modelo para que sea injusto. Más bien, se introduce a través de los datos utilizados para el entrenamiento: si un conjunto de datos representa en exceso a un grupo o representa de manera insuficiente a otro, el modelo aprende esos patrones distorsionados. Incluso decisiones de diseño cuidadosas —como qué características incluir o cómo etiquetar los ejemplos— pueden amplificar los sesgos sociales existentes. Por ejemplo, un modelo de contratación entrenado con datos de personas contratadas con éxito en el pasado podría favorecer a los hombres si los datos históricos ya reflejaban un desequilibrio de género, aunque nadie haya introducido una regla sexista.

Para detectar sesgos en las preguntas de examen, busque indicios sobre las fuentes de datos: ¿está equilibrado el conjunto de entrenamiento? ¿Son subjetivas las etiquetas o proceden de decisiones humanas sesgadas? Una comprobación mental rápida consiste en preguntarse: «¿Funcionaría este modelo igual de bien para otro grupo demográfico?». Si la respuesta es no, es probable que exista un sesgo. Otro truco es recordar que el sesgo puede aparecer incluso cuando la exactitud del modelo es elevada: la exactitud obtenida con un conjunto de datos sesgado puede ocultar la injusticia. Asimismo, preste atención a las preguntas que confunden correlación y causalidad; un modelo podría aprender una relación espuria —por ejemplo, entre el código postal y la solvencia— que refleje una discriminación histórica.

Para afianzar esta idea, piense en un contraste sencillo: un modelo entrenado únicamente con fotografías de gatos de una sola raza no podrá reconocer a los demás, no porque sea malintencionado, sino porque los datos eran limitados. La misma lógica se aplica al sesgo humano: el modelo refleja lo que ha visto. Cuando encuentre una pregunta sobre sesgos, compruebe primero los datos, no el código.