Enviesamento: dados e conceção, não malícia

O enviesamento na IA não significa que alguém tenha programado um modelo para ser injusto. Pelo contrário, infiltra-se através dos dados utilizados no treino: se um conjunto de dados representar excessivamente um grupo ou representar insuficientemente outro, o modelo aprende esses padrões distorcidos. Até opções de conceção cuidadosas — como as características a incluir ou a forma de rotular os exemplos — podem amplificar preconceitos sociais existentes. Por exemplo, um modelo de recrutamento treinado com base em contratações anteriores bem-sucedidas poderá favorecer os homens se os dados históricos já refletirem um desequilíbrio entre os géneros, mesmo que ninguém tenha introduzido uma regra sexista.

Para identificar enviesamentos em perguntas de exame, procure pistas sobre as fontes de dados: o conjunto de treino é equilibrado? Os rótulos são subjetivos ou resultam de decisões humanas enviesadas? Uma verificação mental rápida consiste em perguntar: «Este modelo funcionaria igualmente bem para um grupo demográfico diferente?» Se a resposta for não, é provável que exista enviesamento. Outro truque é recordar que o enviesamento pode surgir mesmo quando a exatidão do modelo é elevada — a exatidão num conjunto de dados distorcido pode ocultar injustiças. Esteja também atento a perguntas que confundam correlação com causalidade; um modelo pode aprender uma associação espúria (por exemplo, entre o código postal e a solvabilidade) que reflita discriminação histórica.

Para consolidar esta ideia, pense num contraste simples: um modelo treinado apenas com fotografias de gatos de uma raça não conseguirá reconhecer gatos de outras raças — não por ser mal-intencionado, mas porque os dados eram limitados. A mesma lógica aplica-se aos preconceitos humanos: o modelo reproduz aquilo que observou. Quando se deparar com uma pergunta sobre enviesamento, verifique primeiro os dados, não o código.