Искусственный интеллект продолжает расширять сферы своего использования и все чаще применяется в медицине, но новое исследование показало, что он все еще недостаточно эффективен по сравнению с врачом.

Новое исследование показало, что ChatGPT (версия 3.5) дает неточные и противоречивые ответы на вопросы при скрининге или во время наблюдения за течением колоректального рака.

3 сертифицированных гастроэнтеролога разработали 5 вариантов скрининга и 5 алгоритмов по наблюдению за пациентами с колоректальным раком (с вариантами ответов), которые были загружены в ChatGPT (версия 3.5). После чего ответы ИИ были протестированы на точность. Среднее количество правильных ответов сравнили с количеством таких же правильных ответов на те же вопросы 238 гастроэнтерологов и колоректальных хирургов.

Среднее общее количество правильных ответов ChatGPT составило 2,75 при скрининге и 1, 75 при наблюдении за пациентами. При этом отмечается, что большая часть ответов ИИ были противоречивы и отличались друг от друга на разных сессиях.

Результаты врачей же составили 7,71 при использовании специальных мобильных приложений и 5,62 правильных ответа без них.

Стоит правда отметить, что при проведении исследования было использовано только 10 клинических эпизодов, версия ChatGPT не была самой последней, а в программу не вводились специальные подсказки, инструкции или иные данные, которые могли бы увеличить точность диагностики чат-бота.