Чат-боты на базе искусственного интеллекта теряют надежность и чаще допускают ошибки во время длительных разговоров.
Об этом сообщает РБК-Украина со ссылкой на результаты совместного исследования Microsoft Research и Salesforce, опубликованные Windows Central.
Детали исследования
В рамках работы исследователи проанализировали более 200 000 диалогов с самыми современными моделями, среди которых GPT-4, Gemini, Claude и DeepSeek.
Выяснилось, что при выполнении одной команды модели демонстрируют успешность в 90%, однако в многоходовых диалогах этот показатель падает до 65%.
Хотя общая пригодность моделей к работе снижается лишь на 15%, их ненадежность возрастает на 112%. Даже модели с дополнительными токенами для "мышления", такие как o3 и DeepSeek R1, не смогли избежать этих проблем.
Причины сбоев ИИ
Исследователи выделили несколько ключевых факторов, влияющих на качество ответов.
Преждевременная генерация - чат-боты пытаются предоставить решение еще до того, как пользователь завершит объяснение задачи.
Эффект "фундамента" - ИИ использует свой первый ответ как основу для последующих, даже если исходная информация была ошибочной.
Раздутие ответов - в длительных разговорах текст становится на 20-300% длиннее, что провоцирует больше предположений и галлюцинаций, которые затем воспринимаются моделью как постоянный контекст.