Pregiudizi: dati e progettazione, non malafede

I pregiudizi nell'IA non dipendono necessariamente dal fatto che qualcuno programmi un modello affinché sia iniquo. Si insinuano invece attraverso i dati utilizzati per l'addestramento: se un insieme di dati sovrarappresenta un gruppo o ne sottorappresenta un altro, il modello apprende tali schemi distorti. Persino scelte progettuali attente, come le caratteristiche da includere o il modo in cui etichettare gli esempi, possono amplificare pregiudizi sociali già esistenti. Per esempio, un modello di selezione del personale addestrato sui candidati assunti con successo in passato potrebbe favorire gli uomini se i dati storici riflettevano già uno squilibrio di genere, anche se nessuno ha inserito una regola sessista.

Per individuare i pregiudizi nelle domande d'esame, cerca indizi sulle fonti dei dati: l'insieme di addestramento è bilanciato? Le etichette sono soggettive o derivano da decisioni umane condizionate da pregiudizi? Un rapido controllo mentale consiste nel chiedersi: «Questo modello funzionerebbe altrettanto bene per un gruppo demografico diverso?». Se la risposta è no, è probabile che vi siano pregiudizi. Un altro accorgimento è ricordare che questi possono manifestarsi anche quando l'accuratezza del modello è elevata: l'accuratezza misurata su un insieme di dati distorto può nascondere risultati iniqui. Fai inoltre attenzione alle domande che confondono correlazione e causalità: un modello potrebbe apprendere un nesso spurio, per esempio tra codice postale e merito creditizio, che riflette discriminazioni storiche.

Per fissare il concetto, pensa a un semplice confronto: un modello addestrato esclusivamente con fotografie di gatti appartenenti a una sola razza non riuscirà a riconoscere gli altri, non perché sia malevolo, ma perché i dati erano limitati. La stessa logica vale per i pregiudizi umani: il modello rispecchia ciò che ha osservato. Quando incontri una domanda sui pregiudizi, controlla prima i dati, non il codice.