Новый подход к обучению направлен на снижение социальной предвзятости в ИИ

Известно, что чат-боты с искусственным интеллектом довольно часто генерируют решения с расовыми предрассудками, когда им задают различные вопросы, и многие исследования были направлены на решение этой проблемы. Теперь новый метод обучения готов решить эту проблему. Метод известен как "справедливая дедупликация" или просто "FairDeDup" и появился в результате исследований, проведенных командой Adobe и OSU College of Engineeringдокторантом Эриком Слайманом.

Дедупликация наборов данных, используемых в обучении искусственного интеллекта, заключается в удалении избыточной информации, что снижает стоимость всего процесса. На данный момент используемые данные поступают со всего Интернета, поэтому они содержат несправедливые или предвзятые идеи и модели поведения, которые люди часто придумывают и которыми делятся в сети.

По словам Слаймана, "FairDeDup удаляет избыточные данные и включает в себя контролируемые, определяемые человеком измерения разнообразия, чтобы смягчить предвзятость. Наш подход позволяет сделать обучение ИИ не только экономически эффективным и точным, но и более справедливым". В список предвзятых подходов, которые в наши дни используют чат-боты с ИИ, входят профессия, раса или пол, а также возраст, география и идеи, связанные с культурой, которые явно несправедливы.

FairDeDup - это улучшенная версия более раннего метода, известного как SemDeDupкоторый часто усугублял социальные предубеждения, хотя и оказался экономически эффективным решением. Тем, кто интересуется этой областью, стоит взять в руки книгу Криса Херманса " Mastering AI Model Training: A Comprehensive Guide To Become An Expert In Training AI Models", которая в настоящее время доступна на Kindle за $9,99 или в мягкой обложке (за $44,07).