Stronniczość: dane i projekt, a nie zła wola

Stronniczość AI nie polega na tym, że ktoś programuje model tak, aby był niesprawiedliwy. Przenika ona natomiast poprzez dane wykorzystywane do trenowania: jeśli zbiór danych nadmiernie reprezentuje jedną grupę lub niedostatecznie reprezentuje inną, model uczy się tych zniekształconych wzorców. Nawet staranne decyzje projektowe — takie jak wybór uwzględnianych cech lub sposób etykietowania przykładów — mogą wzmacniać istniejące uprzedzenia społeczne. Na przykład model rekrutacyjny wytrenowany na danych dotyczących osób zatrudnionych w przeszłości, które odniosły sukces, może faworyzować mężczyzn, jeśli dane historyczne już odzwierciedlały nierównowagę płci, mimo że nikt nie wprowadził do niego seksistowskiej reguły.

Aby rozpoznać stronniczość w pytaniach egzaminacyjnych, szukaj wskazówek dotyczących źródeł danych: czy zbiór treningowy jest zrównoważony? Czy etykiety są subiektywne lub wynikają ze stronniczych decyzji podejmowanych przez ludzi? Szybka kontrola myślowa polega na zadaniu sobie pytania: „Czy ten model działałby równie dobrze w przypadku innej grupy demograficznej?”. Jeśli odpowiedź brzmi „nie”, prawdopodobnie występuje stronniczość. Warto też pamiętać, że stronniczość może występować nawet wtedy, gdy dokładność modelu jest wysoka — dokładność osiągana na zniekształconym zbiorze danych może ukrywać niesprawiedliwość. Zwracaj również uwagę na pytania, w których myli się korelację z przyczynowością; model może nauczyć się pozornego związku, na przykład między kodem pocztowym a wiarygodnością kredytową, który odzwierciedla historyczną dyskryminację.

Aby dobrze zapamiętać tę zasadę, pomyśl o prostym zestawieniu: model wytrenowany wyłącznie na zdjęciach kotów jednej rasy nie będzie rozpoznawał innych — nie dlatego, że jest złośliwy, lecz dlatego, że dane miały wąski zakres. Ta sama logika dotyczy uprzedzeń występujących u ludzi: model odzwierciedla to, co zobaczył. Gdy napotkasz pytanie dotyczące stronniczości, najpierw sprawdź dane, a nie kod.