Исследователи Массачусетского технологического института опубликовали исследование, посвященное "лживому ИИ". Оказывается, некоторые системы искусственного интеллекта уже научились обманывать людей, в том числе те из них, что были обучены оставаться честными.
Исследователи обнаружили, что эти системы искусственного интеллекта могут выполнять такие задачи, как обманывать игроков в онлайн-играх или обходить CAPTCHA (проверки "Я не робот"). Эти, казалось бы, тривиальные примеры могут иметь серьезные последствия в реальной жизни.
Самым ярким примером стал алгоритм Cicero компании Meta, который обучили настольной игре "Дипломатия". В ней пользователь должен создавать альянсы для завоевания мира. Алгоритм, будучи запрограммированным быть честным и полезным, стал "мастером обмана", нарушая договоренности, чтобы выиграть.
Другой пример касается GPT-4, которая, выдавая себя за человека, имеющего проблемы со зрением, нанимала людей для обхода CAPTCHA от своего имени. Таких примеров в свежем исследовании – десятки, и все они отображают способности различных ИИ к обману.
Исследование подчеркивает необходимость обучения ИИ честности. В отличие от традиционного ПО, системы ИИ с глубоким обучением "развиваются" в процессе, похожем на селекцию, и могут со временем изменить поведение. Это создает риски мошенничества, фальсификации и в широком смысле – потери контроля над системами ИИ в принципе.