ProIT: медіа для профі в IT
6 хв.

Упереджений ШІ, або Як технології призводять до зростання випадків дискримінації

author avatar Світлана Чапліч

На перший погляд здається, що ШІ та дискримінація несумісні, адже машина ухвалює рішення на основі великих масивів даних, не мислить стереотипно і не віддає перевагу якимось певним групам людей. При цьому вже сьогодні ШІ-системи вирішують, чи пропустити людину через кордон або зупинити для огляду, шукаючи в натовпі потенційного злочинця, а в процесі найму фільтрують анкети претендентів, які не відповідають вимогам компанії.

Чи можна бути впевненими, що ШІ справді діє неупереджено та не порушує права людини? Як виявилося, ні. І незабаром це може стати справді великою проблемою.

ШІ та «проблема білої людини»

Можливо, про цю проблему ви ніколи не чули, але лише тому, що вона не надто актуальна для України. Однією з перших про неї в контексті штучного інтелекту голосно заговорила Кейт Кроуфорд, дослідниця соціальних змін через призму технологій та автор книги «Атлас штучного інтелекту: влада, політика та планетарні витрати на штучний інтелект». Вона стверджує:

«Сексизм, расизм та інші форми дискримінації вбудовані в алгоритми машинного навчання, що лежать в основі технологій багатьох «розумних» систем, а вже вони визначають те, як нас класифікують та рекламують».

Як приклад Кроуфорд наводить історію з Google, коли один із сервісів компанії почав класифікувати зображення темношкірих людей як горил. А ще історію з програмним забезпеченням камер Nikon, які вбачають кліпання очима у погляді азійця, що спокійно дивиться в об’єктив. Розробники вебкамер Hewlett-Packard теж відзначилися: пристроям важко давалося розпізнавання темношкірих людей.

«Алгоритми навчаються, отримуючи певні зображення, часто вибрані інженерами, і система будує модель світу на основі цих зображень. Якщо систему навчено на фотографіях переважно білих людей, їй буде важче розпізнавати всі інші обличчя», – стверджує дослідниця.

Корінь проблеми полягає в тому, що тренуванням ШІ-моделей займаються переважно білі люди та використовують для навчання насамперед фотографії людей європеоїдної раси. На практиці це призводить до збільшення випадків дискримінації під час працевлаштування або пошуку правопорушників серед громадян. Таким чином, штучний інтелект посилює нерівність, що створена упередженнями, закладеними в алгоритми машинного навчання.

Anar Lavrenov, SPUNCH Co-Founder, зауважив:

«Треба розуміти, що ШІ як явище – це чистий аркуш. Інформація, яку отримує кінцевий користувач, виключно залежить від даних та інструкцій, на яких конкретна модель була навчена. Це дуже схоже на людину, і в такому випадку я б їх не відрізняв. Людина вбирає в себе виховання батьків, влив оточення, культуру суспільства, а модель – налаштування й дані від дата-сайнтиста. Тому в плані дискримінації, конкуренції й навіть злочинності є як позитивні кейси (Chat-GPT), так і негативні (Dark Chat-GPT)».

Штучний інтелект: расист, шовініст і не тільки

Якщо ви думаєте, що ШІ ставиться упереджено тільки до темношкірих людей, ви помиляєтесь. За даними Harvard Business Review, медицині інтелектуальні системи часто сприймають людей професії nurse (медсестра або медбрат з англійської) як особ жіночої статі, а doctor (лікарка або лікар) – чоловічої. Це означає, що гендерна упередженість виникла під час машинного навчання.

Якщо в наборах даних для навчання було недостатньо відомостей саме про жінок, у знаннях ШІ виникнуть прогалини й як наслідок зросте ймовірність дискримінації.

Крім того, самим процесом машинного навчання керують люди, а це означає, що їхні власні упередження знайдуть відображення в роботі інтелектуальної системи.

Антон Тарасюк, співзасновник та директор з експертизи в ШІ-стартапі Mantis Analytics, розповів:

«Дезинформація – одна з проблем, якою ми займаємося. Нещодавно на запрошення аналітичного центру Інституту досліджень війни та миру (IWPR) ми проводили для громадських організацій та медіа Грузії та Вірменії воркшопи, які стосувалися ШІ-дискримінації. Одна з речей, які потрібно врахувати в цьому питанні, – це дезінформація із використанням ШІ. Наприклад, створення діпфейків або «крадіжки ідентичності». Уявіть, що хтось постить згенероване зображення, відео- або аудіозапис політика-жінки з метою її дискредитації (такі випадки з політиками України та Європи відбуваються регулярно). Це приклад того, як ШІ може використовуватися для просування дискримінаційних кампаній на основі гендерної ідентичності.

Проте можна дезінформувати й сам ШІ. Його тренування відбувається на так званих історичних даних. Тепер уявіть, що ви створюєте алгоритм, який має зробити первинний відсів резюме при прийомі на роботу. І дані, на яких ви тренуєте ШІ, мають великий уклін в бік прийняття чоловіків. Ну, так історично вийшло в компанії. Є ризик, що машина засвоїть неправильну логіку, яка призведе до прямої гендерної дискримінації. Кандидатки, таким чином, просто не дійдуть до етапу співбесіди, оскільки ШІ було дезінформовано на етапі тренування».

Цей кейс насправді реальний. Кілька років тому власна інтелектуальна система Amazon, що була навчена на історичних даних щодо найму і просування по службі, відмовлялася приймати на роботу жінок. Невдовзі розробники видалили з резюме гендерні маркери та перестали враховувати навчання кандидаток у спеціалізованих жіночих коледжах. І хоча ШІ перестав відмовляти жінкам масово, проте це не змінило ситуацію кардинально. Машина, як і раніше, бачила в резюме певні маркери та продовжувала надсилати жінкам відмови.

До речі, помічали, що імена та голоси більшості віртуальних помічників, які також використовують ШІ-функції, за замовчуванням жіночі? З компанії, в якій представлені Alexa від Amazon, Cortana від Microsoft та Siri від Apple, вибивається хіба що Google Assistant, проте і він (чи вона?) говорить із вами жіночим голосом. Все це теж частина сталих стереотипів у суспільстві, адже саме жінка у багатьох культурах демонструє покірність і бажання приносити користь.

Водночас чоловічі голоси використовуються в завданнях, пов’язаних з інструктуванням та навчанням. Наприклад, саме так це реалізовано в IBM Watson, який допомагає проводити освітні заходи для лікарів-онкологів.

Також ШІ-системи часто намагаються виправити чи навіть ігнорують мовні особливості, характерні для певних етнічних та релігійних груп. Все тому, що дані для навчання моделей машинного навчання часто не враховують діалекти й акценти, що призводить до посилення расових стереотипів і дискримінації.

Економічна упередженість, про яку згадують не так часто, теж існує. Системи штучного інтелекту можуть ненавмисно віддавати перевагу певним економічним класам, ускладнюючи доступ до ресурсів та можливостей для людей із неблагополучних родин. Наприклад, системи подання заявок на роботу, засновані на штучному інтелекті, можуть надавати пріоритет кандидатам із багатих сімей, тим самим сприяючи зміцненню нерівності в суспільстві.

Проблему вже визнали. Що далі?

На упередженість з боку ШІ вже звернули увагу вченні та громадські активісти. Феміністичний ресурс InternationalWomensDay рекомендує почати боротися з нею найбільш очевидним способом: забезпечити максимальне розмаїття даних для навчання ШІ з погляду статі, етнічної приналежності, віку, сексуальної орієнтації та інших параметрів.

Крім того, обов’язковою умовою буде те, що і люди, які розробляють ШІ-системи, також мають бути дуже різними у соціальному, гендерному, культурному й інших аспектах. Для боротьби з расовою дискримінацією розробники ШІ-систем повинні враховувати вплив своїх моделей на різні етнічні та расові спільноти.

На думку експертів із Financial Times, без навчання людей, які вирішують проблеми, диверсифікації ШІ, алгоритми завжди відображатимуть їхні власні упередження.

З упередженістю ШІ бореться. Щоправда, зі змінним успіхом

Генеративний штучний інтелект дійсно може зменшити кількість випадків дискримінації, пов’язаних із використанням ШІ-систем. Прикладом цього може бути велика мовна модель Latimer GenAI*, яка була створена саме для цієї мети. Розробник Latimer GenAI Джон Пасмор (John Pasmore) називає її навчальним інструментом, що підказує, як діяти у зв’язку з певними культурними та історичними нормами.

* Модель Latimer GenAI названа на честь афроамериканського винахідника і технолога Льюїса Латімера (Lewis Latimer), який запатентував покращену систему туалетів для залізничних вагонів.

Інтерфейс Latimer нагадує ChatGPT, але працює на Llama-2 GPT компанії Meta. Модель доповнена даними у вигляді історичних подій, місцевих архівів, літературних творів та поточних випадків, пов’язаних із «кольоровими людьми». Це допомагає знизити ймовірність того, що система генеруватиме неправдиву інформацію, спрямовану на дискримінацію людей із кольором шкіри, що відрізняється від білого. Сьогодні Latimer вже використовує Університет Майлза, який називають «університетом для чорношкірих», та Державний університет Морган.

Глобальні рішення

Наведені вище рішення можна назвати точковими. Вони не усувають проблему в цілому, але роблять важливі кроки на шляху до її подолання. Водночас вже є позитивні зрушення і на глобальному рівні.  Наприклад, у вересні 2024 року має бути узгоджений «Глобальний цифровий договір», в якому будуть висвітлені питання гендерних переконань, спричинених штучним інтелектом.

Вирішенням проблеми дискримінації з боку ШІ може стати його тестування на упередженість. У цьому вже зараз допомагають інструменти на зразок What-If Tool, які досліджують поведінку моделей без написання складного коду.

Схоже рішення є і в IBM. Компанія розробила AI Fairness 360, який дає змогу протестувати ML-модель на відповідність набору етичних принципів ШІ. Або, наприклад, Langtest – інструмент для оцінки й усунення упередженості моделі, в якому особлива увага приділяється гендерним, етнічним та релігійним упередженням.

Європейський комісар з питань конкуренції Маргрет Вестагер в одному з інтерв’ю наголосила, що технології можуть бути пов’язані з великими ризиками для суспільства:

«ШІ використовується для ухвалення рішень, які можуть вплинути на чиюсь можливість існування. Наприклад, на те, чи зможе ця людина претендувати на іпотеку».

Вона також висловила побоювання, що потенціал штучного інтелекту щодо посилення упередженості або дискримінації, який може міститися у величезних обсягах даних, отриманих з інтернету та використовуваних для навчання моделей та інструментів, є дуже серйозною проблемою.

Хоча певні зусилля для усунення упередженості ШІ вже докладаються, до вирішення проблеми ще дуже далеко. Наприклад, одна з найпотужніших законодавчих ініціатив – Закон про штучний інтелект (AI Act) (він же перше у світі зведення правил щодо використання та розвитку систем ШІ) все ще не набрав чинності. Очікується, що це станеться не раніше 2025 року. Тим часом він пропонує виконання розробниками ШІ-систем суворих зобов’язань перед виведенням їх на ринок, а саме забезпечувати високу якість наборів даних, що завантажуються в систему, для мінімізації ризиків і дискримінаційних наслідків.

Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!

Приєднатися до company logo
Продовжуючи, ти погоджуєшся з умовами Публічної оферти та Політикою конфіденційності.