Большие языковые модели: готовы ли они к работе?

Использование в медицине возможностей искусственного интеллекта обещало облегчить работу врачей: снять с них часть нагрузки, в том числе административной, помочь избежать выгорания, но последние данные говорят, что все происходит с точностью до наоборот.

Появляется все больше исследований, которые указывают, что искусственный интеллект (ИИ) ошибается чаще, чем это может считаться безопасной статистической погрешностью. К числу ошибок, которые удается отследить врачам, относится, например, некорректное толкование ИИ результатов анализов: незначительное повышение ПСА, которое медики трактуют как нормальное отклонение, программы относят к признакам рецидива заболевания. Такие ошибки специалисты называют галлюцинациями.

В 2023 году был проведен анализ 7 больших языковых моделей для выяснения того, как точно те отвечают на вопросы на основании данных медицинских карт. Результаты показали, что частота ошибок составляла в лучшем случае 35 %. Другое исследование, выполненное летом 2024 г. выявило, что такие программы как GPT-4o или Llama-3 при обобщении данных медицинских карт пациентов выдавали, по крайней мере, один тип галлюцинаций.

Часть проблем с большими языковыми моделями заключается в том, что для их «питания» просто не хватает высококачественной информации: обучение алгоритмов требует огромных массивов данных. Так GPT-3,5 обучался на 570 ГБ данных из интернета, включая 300 млрд. слов, а GPT-4o OpenAI транскрибировал более 1 млн. часов контента на YouTube. Но эта стратегия не всегда срабатывает, считают специалисты, так как интернет полон некачественной и недостоверной информации, включая рекламу разнообразных биодобавок. И даже миллионы клинических исследований, используемые в обучении, могут содержать устаревшую информацию.

Некоторые специалисты считают, что в здравоохранении гораздо лучше было бы применяь небольшие языковые модели, требующие более простой настройки и использующие небольшие наборы данных. Обучение таких моделей на реальных медицинских данных может показать свою эффективность при общении с пациентами, когда нужно отвечать на их вопросы.

В любом случае сейчас главная задача, по мнению специалистов, сделать программы более безопасными и надежными, то есть обучить ИИ распознавать потенциальные ошибки и неопределенности.