ChatGPT провалил пробный экзамен по гастроэнтерологии

Чат-боты с искусственным интеллектом (ИИ) ChatGPT-3 и ChatGPT-4 провалили тесты самооценки Американской коллегии гастроэнтерологов (ACG) 2021 и 2022 годов, которые используются, чтобы понять, справится ли тестируемый с самим экзаменом. В ходе испытания надо набрать не менее 70% правильных ответов, ИИ-сервисам не хватило 5—8% до этой отметки, пишет MobiHealthNews со ссылкой на исследование, опубликованное в The American Journal of Gastroenterology.

Тесты самооценки ACG включают по 300 вопросов с несколькими вариантами ответов. Исследователи отобрали 455 вопросов, исключив те, которые сопровождаются изображениями. Далее они скопировали их и вставили с вариантами ответов в поле «общения» с чат-ботом. По итогам испытания ChatGPT-3 дал 296 правильных ответов, а ChatGPT-4 — 284.

Исследователи отметили, что невысокий показатель ChatGPT может быть связан с отсутствием доступа к платным медицинским журналам или устаревшей информацией в его системе. По их мнению, необходимы дополнительные испытания, прежде чем данные сервисы можно будет безопасно использовать в обучении гастроэнтерологов.