Пристрастност: данни и проектиране, а не злонамереност

Пристрастността при AI не означава, че някой е програмирал модела да бъде несправедлив. Вместо това тя се промъква чрез данните, използвани за обучение: ако даден набор от данни представя прекомерно една група или представя недостатъчно друга, моделът усвоява тези изкривени закономерности. Дори внимателно взети решения при проектирането — например кои характеристики да бъдат включени или как да бъдат етикетирани примерите — могат да засилят съществуващите обществени предубеждения. Например модел за подбор на персонал, обучен въз основа на данни за успешно наети в миналото лица, може да отдава предпочитание на мъжете, ако историческите данни вече са отразявали неравновесие между половете, въпреки че никой не е въвеждал сексистко правило.

За да откриете пристрастност във въпросите за изпит, търсете признаци, свързани с източниците на данни: балансиран ли е наборът за обучение? Субективни ли са етикетите, или произтичат от пристрастни човешки решения? Бърза мисловна проверка е да се запитате: „Би ли работил този модел еднакво добре за различна демографска група?“ Ако отговорът е „не“, вероятно е налице пристрастност. Друг полезен подход е да помните, че пристрастност може да има дори когато точността на модела е висока — точността върху небалансиран набор от данни може да прикрива несправедливост. Внимавайте и за въпроси, в които корелацията се бърка с причинно-следствената връзка; моделът може да усвои привидна зависимост (напр. между пощенския код и кредитоспособността), която отразява историческа дискриминация.

За да затвърдите това, помислете за едно просто сравнение: модел, обучен само със снимки на котки от една порода, няма да успява да разпознава останалите — не защото е злонамерен, а защото данните са били ограничени. Същата логика важи и за човешката пристрастност: моделът отразява видяното. Когато срещнете въпрос за пристрастност, първо проверете данните, а не кода.