Новое исследование показывает, что искусственный интеллект не любит афроамериканские диалекты английского языка

Новое исследование выявило скрытый расизм, заложенный в языковых моделях ИИ, особенно в их отношении к афроамериканскому английскому (AAE). В отличие от предыдущих исследований, посвященных открытому расизму (например, исследование CrowS-Pairs по измерению социальных предубеждений в Маскированных LLM), в данном исследовании особое внимание уделяется тому, как модели ИИ незаметно закрепляют негативные стереотипы посредством диалектных предрассудков. Эти предубеждения не видны сразу, но проявляются явно, например, ассоциируя носителей ААЕ с работой более низкого статуса и более суровыми оценками преступлений.

Исследование показало, что даже модели, обученные уменьшать явные предубеждения, все равно хранят в себе глубоко укоренившиеся предрассудки. Это может иметь далеко идущие последствия, особенно по мере того, как системы искусственного интеллекта все больше интегрируются в такие важные сферы, как трудоустройство и уголовное правосудие, где справедливость и равноправие важнее всего.