Центр цифровой журналистики Columbia Journalism Review обнаружил серьезные проблемы с точностью генеративных моделей искусственного интеллекта, которые используются для поиска новостей.
В новом исследовании специалисты Columbia Journalism Review отметили, что примерно 1 из 4 американцев сейчас использует такие модели ИИ как альтернативу традиционным поисковым системам, и это вызывает у них серьезное беспокойство. Они протестировали восемь поисковых инструментов на основе искусственного интеллекта, оснащенных функцией поиска в реальном времени. Для проверки эффективности работы таких ИИ ученые предоставили прямые отрывки из реальных новостных статей, а затем попросили каждую модель определить заголовок статьи, оригинального издателя, дату публикации и URL-адрес. Они сделали в общей сложности 1600 таких запросов. Эксперимент показал, что модели искусственного интеллекта неправильно предоставляли источники новостей в среднем более чем в 60% случаев.
Уровень ошибок заметно отличался среди протестированных платформ. Perplexity предоставил неправильную информацию в 37% случаев, тогда как ChatGPT Search — в 67%. Grok 3 продемонстрировал самый высокий уровень ошибок — 94%. Даже когда эти поисковые инструменты искусственного интеллекта ссылались на источники, они часто направляли пользователей на синдицированные версии контента на таких платформах, как Yahoo News, а не на сайты оригинальных издателей. Это случалось даже в случаях, когда издатели имели официальные лицензионные соглашения с компаниями искусственного интеллекта. Другой значительной проблемой стало выявление URL-адресов новостей, на которые ИИ ссылается. Из 200 цитат, проверенных в Grok 3, 154 привели к поврежденным ссылкам.
Исследование также показало общую тенденцию среди этих моделей искусственного интеллекта: вместо того, чтобы отказываться отвечать, когда им не хватало надежной информации, модели часто предоставляли спекулятивные или неправильные ответы, звучащие правдоподобно. Также ученые заметили, что платные премиум-версии этих поисковых инструментов показали еще худшие результаты в определенных аспектах. В частности Perplexity Pro и Grok 3 предоставляют неправильные ответы чаще, чем их бесплатные аналоги.
Исследователи CJR также нашли доказательства того, что некоторые инструменты искусственного интеллекта игнорируют настройки, которые издатели используют для предотвращения несанкционированного доступа. Например, бесплатная версия Perplexity правильно определила все 10 отрывков из платного контента National Geographic, несмотря на то, что National Geographic явно запретил веб-сканеры Perplexity.