Новое исследование от ученых из Стэнфорда и Калифорнийского университета в Беркли подтвердило то, на что пользователи жалуются уже несколько недель: качество ответов "умного" чат-бота ChatGPT стремительно ухудшается, пишет УНИАН.
В исследовании под названием "Как меняется поведение ChatGPT со временем" изучалась производительность двух ключевых языковых моделей – GPT-4, на которой работает ChatGPT Plus, и ее предшественницы GPT-3.5.
Разница оказалась колоссальной, и не в пользу новой модели, которая, к тому же, доступна по подписке за деньги. При этом примечательно, что в то время, как точность ответов GPT-4 заметно упала, у GPT-3.5 – наоборот, выросла.
Среди разнообразных задач, представленных для GPT-4, были математические задачи, вопросы на "чувствительные" темы, написание кода и обработка изображений. Выяснилось, что точность GPT-4 скатилась с 97,6% в марте до 2,4% в июне. Кроме того, чат-бот стал допускать больше ошибок при выполнении программирования и не так отзывчиво отвечать на деликатные вопросы.
Использование ChatGPT в Украине абсолютно бесплатное, как и в остальных странах. Бесплатная версия работает на базе языковой модели GPT-3.5 и способна легко и уверенно отвечать на самые разные вопросы, а также писать прозу, стихи или компьютерный код по команде.
В середине марта ChatGPT обновили до языковой модели GPT-4. Чтобы получить доступ к нему, необходимо подписаться на платную подписку в размере $20 в месяц. Обновленная модель способна понимать не только текст, но и распознавать изображения – и может объяснить даже значение мемов. Ожидается, что выходящая в конце 2023 года модель GPT-5 достигнет ранее невиданного уровня ИИ.
Исследователи подчеркивают, что для пользователей, активно использующих GPT-3.5 и GPT-4 в своей работе, важно постоянно контролировать точность полученных результатов.
Технология ИИ все еще находится на ранних стадиях развития
ChatGPT был запущен в конце прошлого года и очень быстро втянул всю технологическую отрасль в крысиные бега вокруг ИИ. В последующие месяцы свои чат-боты выпустили Microsoft и Google.
Эта технология имеет многообещающие возможности, но все еще находится на ранних стадиях развития. Это также не первый раз, когда GPT-4 обвиняют в предоставлении недостоверной информации. Другое исследование показало, что ChatGPT на базе GPT-4 проще заставить говорить неправду – тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT-3.5.
