Пресс-релиз

Генеративный ИИ: исследование ЮНЕСКО выявило тревожные свидетельства гендерных стереотипов

Исследование, проведенное ЮНЕСКО в преддверии Международного женского дня, выявило наличие тревожных тенденций в больших языковых моделях (LLM), связанных с гендерными стереотипами, гомофобией и расовыми предубеждениями. Женщины гораздо чаще мужчин — в четыре раза чаще, чем мужчины, в одной из языковых моделей — описываются как домашние работницы, ассоциируясь с такими словами, как «дом», «семья» и «дети», в то время как мужчинам приписываются такие слова, как «бизнес», «руководитель», «зарплата» и «карьера».

7 марта 2024

Скачать полную версию исследования ЮНЕСКО

Исследование «Предвзятое отношение к женщинам и девочкам в больших языковых моделях» анализирует стереотипы в больших языковых моделях (LLM) — инструментах обработки естественного языка, используемых в популярных платформах генеративного ИИ, включая GPT-3.5 и GPT-2 от OpenAI и Llama 2 от META. Исследование представляет неопровержимые доказательства предвзятого отношения к женщинам в контенте, сгенерированном этими языковыми моделями.

Каждый день все больше и больше людей используют большие языковые модели в своей работе, учебе и дома. Эти новые технологии ИИ способны тонко формировать восприятие миллионов людей. Поэтому даже небольшие гендерные предубеждения, присутствующие в них, могут значительно усилить неравенство в реальном мире. Наша организация призывает правительства разработать и внедрить четкие нормативные положения, а также рекомендует частным компаниям проводить регулярный мониторинг и оценку на предмет системной предвзятости, как указано в Рекомендации ЮНЕСКО об этических аспектах искусственного интеллекта, единогласно принятой нашими государствами-членами в ноябре 2021 года.

Одрэ АзулеГенеральный директор ЮНЕСКО

LLM с открытым исходным кодом, такие как Llama 2 и GPT-2, которые ценятся за бесплатность и доступность, продемонстрировали наиболее яркие проявления гендерных предубеждений. Однако исследование указывает на то, что их открытость и прозрачность могут служить сильным преимуществом в устранении и смягчении этих предубеждений благодаря более широкому участию глобального исследовательского сообщества по сравнению с более закрытыми моделями, к которым относятся GPT 3.5 и 4 (основа для ChatGPT) и Gemini от Google.

Более содержательные описания в рассказах о мужчинах

В рамках исследования анализировалось разнообразие контента в созданных ИИ текстах, посвященных людям разного пола, сексуальной ориентации и культурного происхождения, в том числе с помощью запросов к платформам «написать рассказ» о каждом человеке. В частности, LLM с открытым исходным кодом склонны присваивать мужчинам более разнообразные и высокостатусные профессии, такие как инженер, учитель и врач, а женщинам часто приписываются роли, которые традиционно недооцениваются или социально стигматизируются, такие как «домашняя прислуга», «повар» и «проститутка».

В историях о мальчиках и мужчинах, созданных Llama 2, преобладали слова «сокровища», «лес», «море», «приключение», «решил» и «нашел», а в историях о женщинах чаще всего использовались слова «сад», «любовь», «чувство», «нежный», «волосы» и «муж». Кроме того, в материалах, созданных Llama 2, женщины в четыре раза чаще, чем мужчины, описывались как люди, занимающиеся домашним хозяйством.

Гомофобные установки и расовые стереотипы

Исследование также показало, что LLM склонны к созданию контента, негативно относящегося к геям и определенным этническим группам. Когда трем моделям ИИ было предложено закончить предложения, начинающиеся с фразы «Гей — это...», 70 % контента, созданного Llama 2, было негативным, например, «Геи считались представителями низших слоев общества». 60 % контента, сгенерированного GPT-2, было негативным, включая фразы «Геев считали мужчинами, занимающимися проституцией, преступниками и не имеющими никаких прав».

Когда LLM попросили создать тексты о представителях разных этносов, на примере британских и зулусских мужчин и женщин, выяснилось, что они проявили высокий уровень культурной предвзятости. Британским мужчинам приписывались различные профессии, в том числе «водитель», «врач», «банковский служащий» и «учитель». Зулусским мужчинам чаще приписывали профессии «садовник» и «охранник». В 20 % текстов о зулусских женщинах им отводились роли «домашних слуг», «поваров» и «домработниц».

Рекомендация ЮНЕСКО должна быть незамедлительно реализована

В ноябре 2021 года государства-члены ЮНЕСКО единогласно приняли Рекомендацию об этических аспектах искусственного интеллекта — первую и единственную глобальную нормативную базу в этой области. В феврале 2024 года Рекомендацию также одобрили 8 глобальных технологических компаний, включая Microsoft. Рамочная программа призывает к конкретным действиям по обеспечению гендерного равенства при разработке инструментов ИИ, включая выделение средств на финансирование схем гендерного равенства в компаниях, финансовое стимулирование женского предпринимательства и инвестирование в целевые программы по расширению возможностей участия девочек и женщин в STEM и ИКТ-дисциплинах.

Борьба со стереотипами также требует диверсификации подбора персонала в компаниях. По последним данным, женщины составляют лишь 20 % сотрудников на технических должностях в крупных компаниях, занимающихся машинным обучением, 12 % исследователей ИИ и 6 % профессиональных разработчиков ПО. Гендерное неравенство среди авторов, публикующих работы в области ИИ, также очевидно. Исследования показали, что только 18 % авторов на ведущих конференциях по ИИ — женщины, а более 80 % профессоров в области ИИ — мужчины. Если системы не разрабатываются разнообразными командами, они с меньшей вероятностью будут удовлетворять потребности разнообразных пользователей или даже защищать их права.