Журналисты совместно с библиотекарями провели масштабное тестирование девяти популярных ИИ-сервисов, чтобы выяснить, какой из них дает самые точные ответы и реже всего "галлюцинирует". Результаты оказались неожиданными: безоговорочным лидером стал не ChatGPT, а новый AI Mode от Google.
В ходе эксперимента эксперты задали ИИ-сервисам, включая разные версии ChatGPT, Claude, Grok, Perplexity и Bing Copilot, 30 сложных вопросов, пишет The Washington Post. Запросы были разделены на пять категорий, призванных выявить слабые места нейросетей: малоизвестные факты, требующие поиска по специализированным источникам, свежие события, предубеждения и анализ изображений.
Победителем стал AI Mode от Google, который показал самые точные результаты в поиске информации о недавних событиях и интересных фактах. Его главное преимущество — способность проводить более глубокий поиск по сети перед тем, как дать ответ. Второе место занял ChatGPT-5, а третье — нейропоисковик Perplexity. Худшие результаты показали Meta AI и Grok, которые часто отказывались отвечать или давали неверную информацию.
Тестирование выявило несколько ключевых проблем современных ИИ. Во-первых, все без исключения сервисы "галлюцинировали", то есть придумывали ответы на некоторые вопросы и уверенно презентовали их как истину. Во-вторых, многие из них, особенно Perplexity и Grok, давали неверные ответы, но при этом ссылались на источники, которые не подтверждали их слова, создавая ложное чувство надежности.
Особенно плохо нейросети справились с анализом изображений. На вопрос "Какого цвета был галстук у Дональда Трампа на встрече с Владимиром Путиным в Осаке в 2019 году?" правильно ответил только ChatGPT-5. Остальные либо путали Трампа с Путиным, либо просто ошибались в цвете.
Эксперты-библиотекари отметили, что в 64% случаев обычный поиск в Google позволил бы найти правильный ответ быстрее и проще. По их мнению, ИИ-сервисы хороши для сложных, исследовательских задач, но для простых вопросов они часто оказываются менее надежными. Главный вывод исследования: к любому ответу ИИ нужно относиться критически и всегда проверять источники.
