Чат GPT-4 обошел читателей медицинских журналов по доле правильно поставленных диагнозов

Чат GPT-4 правильно диагностировал 57% сложных клинических случаев. Больше трети из них были связаны с инфекционными заболеваниями, 13,1% — с эндокринологией и 10,5% — с ревматологией. Возраст пациентов, которым необходимо было установить диагноз, варьировался от 0 до 89 лет, 37% из них были женщины. Таковы итоги исследования, опубликованные в New England Journal of Medicine, пишет MobiHealthNews.

Исследователи из Дании использовали чат GPT-4 для постановки диагноза в 38 относящихся к сложным клинических случаях, описанных в формате текстов и опубликованных в интернете в период с января 2017 по январь 2023 года. Ответы чат-бота сравнивались с 248 614 ответами читателей медицинских онлайн-журналов.

Каждый клинический случай включал историю болезни и вопрос с шестью вариантами ответа (наиболее вероятного диагноза). Программе предлагалось определить диагноз, проанализировав полный неотредактированный текст из отчета о клиническом случае и выбрав правильный вариант ответа. Каждый случай был представлен GPT-4 пять раз для оценки воспроизводимости.

В качестве альтернативы исследователи опросили читателей медицинских журналов, которые смоделировали 10 тыс. наборов ответов.

Версия чата GPT-4 образца марта 2023 года правильно диагностировала 21,8 случая из 38, или 57%, с хорошей воспроизводимостью, тогда как читатели медицинских журналов правильно диагностировали 13,7 случая, или в среднем 36%. При этом исследователи отмечают, что среди читателей могли быть не только медработники, но и представители других профессий.

Тем не менее текущая модель GPT-4 может иметь клинические перспективы, отметили авторы исследования. Необходимо проведение клинических испытаний, чтобы гарантировать, что эта технология безопасна и эффективна.