Центр цифрової журналістики Columbia Journalism Review виявив серйозні проблеми з точністю генеративних моделей штучного інтелекту, які використовуються для пошуку новин.
У новому дослідженні фахівці Columbia Journalism Review зазначили, що приблизно 1 з 4 американців зараз використовує такі моделі ШІ як альтернативу традиційним пошуковим системам, і це викликає у них серйозне занепокоєння. Вони протестували вісім пошукових інструментів на основі штучного інтелекту, оснащених функцією пошуку в реальному часі. Для перевірки ефективності роботи таких ШІ вчені надали прямі уривки з реальних новинних статей, а потім попросили кожну модель визначити заголовок статті, оригінального видавця, дату публікації та URL-адресу. Вони зробили загалом 1600 таких запитів. Експеримент показав, що моделі штучного інтелекту неправильно надавали джерела новин в середньому у понад 60% випадків.
Рівень помилок помітно відрізнявся серед протестованих платформ. Perplexity надав неправильну інформацію в 37% випадків, тоді як ChatGPT Search — у 67%. Grok 3 продемонстрував найвищий рівень помилок — 94%. Навіть коли ці пошукові інструменти штучного інтелекту посилалися на джерела, вони часто спрямовували користувачів на синдиковані версії вмісту на таких платформах, як Yahoo News, а не на сайти оригінальних видавців. Це траплялося навіть у випадках, коли видавці мали офіційні ліцензійні угоди з компаніями штучного інтелекту. Іншою значною проблемою стало виявлення URL-адрес новин, на які ШІ посилається. З 200 цитат, перевірених у Grok 3, 154 призвели до пошкоджених посилань.
Дослідження також показало спільну тенденцію серед цих моделей штучного інтелекту: замість того, щоб відмовлятися відповідати, коли їм бракувало надійної інформації, моделі часто надавали спекулятивні або неправильні відповіді, що звучать правдоподібно. Також вчені помітили, що платні преміумверсії цих пошукових інструментів показали ще гірші результати в певних аспектах. Зокрема Perplexity Pro та Grok 3 надають неправильні відповіді частіше, ніж їхні безплатні аналоги.
Дослідники CJR також знайшли докази того, що деякі інструменти штучного інтелекту ігнорують налаштування, які видавці використовують для запобігання несанкціонованому доступу. Наприклад, безплатна версія Perplexity правильно визначила всі 10 уривків із платного контенту National Geographic, попри те, що National Geographic явно заборонив вебсканери Perplexity.