Программы на базе больших языковых моделей (LLM) хуже врачей справлялись с постановкой диагнозов. Также LLM часто нарушает протоколы из-за своей чувствительности к количеству предоставленной для анализа информации.

Исследование было проведенной международной группой ученых с использованием данных 2,4 тысяч пациентских историй. Все они относились к патологиям брюшной полости (аппендицит, панкреатит, холецистит, дивертикулит). Специалисты не только оценивали точность диагноза, поставленного ИИ, но также и то, как программа соблюдала диагностические и лечебные протоколы, интерпретировала результаты исследований.

Полученные результаты показали, что у 80 произвольно выбранных пациентов точность постановки диагноза LLM уступала врачам. Чаще всего ИИ ошибался, когда речь шла о холецистите и дивертикулите: здесь точность постановки диагноза не превышала 68 % (от 13 % до 68 %), тогда как врачи определяли заболевания с точностью в 84-86 %. Точнее всего программа выявляла аппендицит, здесь она даже опережала клиницистов и диагностировала заболевание на 3-4 % точнее.

Также выяснилось, что ИИ часто не назначает исследований, положенных по клиническому протоколу и не следует рекомендациям, особенно когда речь идет о тяжелых патологиях. Программа также не могла верно интерпретировать результаты анализов.

Точность постановки диагноза снижалась и при доступе языковых моделей к большему количеству результатов анализов. Авторы исследования считают, что ИИ может качественно выявлять определенные патологии, но не обладает шириной диагностического диапазона практикующих специалистов.