Чат-боти на базі штучного інтелекту втрачають надійність та частіше припускаються помилок під час тривалих розмов.
Про це повідомляє РБК-Україна з посиланням на результати спільного дослідження Microsoft Research та Salesforce, опубліковані Windows Central.
Деталі дослідження
У межах роботи дослідники проаналізували понад 200 000 діалогів із найсучаснішими моделями, серед яких GPT-4, Gemini, Claude та DeepSeek.
З’ясувалося, що під час виконання однієї команди моделі демонструють успішність у 90%, проте в багатоходових діалогах цей показник падає до 65%.
Хоча загальна придатність моделей до роботи знижується лише на 15%, їхня ненадійність зростає на 112%. Навіть моделі з додатковими токенами для "мислення", такі як o3 та DeepSeek R1, не змогли уникнути цих проблем.
Причини збоїв ШІ
Дослідники виділили кілька ключових факторів, що впливають на якість відповідей.
Передчасна генерація - чат-боти намагаються надати рішення ще до того, як користувач завершить пояснення завдання.
Ефект "фундаменту" - ШІ використовує свою першу відповідь як основу для наступних, навіть якщо початкова інформація була помилковою.
Роздуття відповідей - у тривалих розмовах текст стає на 20–300% довшим, що провокує більше припущень та галюцинацій, які потім сприймаються моделлю як постійний контекст.