ChatGPT дает неправильные ответы на распространенные вопросы об эозофильном эзофагите.

Так например программа сообщает неверную информацию о связи эозофильного эзофагита (ЭоЭ) и рака, а также ответы искусственного интеллекта (ИИ) были сложны для понимания и малочитабельны.

Исследование ИИ было опубликовано в журнале Clinical Gastroenterology and Hepatology.

Специалисты изначально проявили большой интерес к возможности применения ИИ в таких процедурах, как подготовка к колоносткопии, лечении гастроэзофагеальной рефлюксной болезни и оценки знаний пациента о ЖКТ. Также исследователи оценили бот и его ответы на вопросы, связанные с ЭоЭ с точки зрения пациента.

Ему были заданы вопросы, ответы на которые оценивались по 4-балльной системе научной правильности и образовательной ценности для пациента. Неправильные или неадекватные ответы получали 0 баллов, смешение правильной и неправильной информации оценивалось в 1 балл, 2 балла давались за правильные, но неполные ответы и 3 за полностью исчерпывающий ответ.

Более 54 % ответов на конкретные вопросы за научную точность получили оценку в 1 балл, положительные результаты ответов на более общие вопросы были выше: 25 % ответов чат-бота за научную точность были оценены в 3 балла.

Однако ИИ ошибочно указывал на повышенный риск развития аденокарциномы пищевода у пациентов с ЭоЭ. Кроме того исследователи обнаружили в ответах ИИ неверные ссылки на авторов и название используемых научных материалов. А также была отмечена большая научная сложность ответов, что может быть препятствием для использования чат-бота значительным числом пациентов.

Специалисты уверены, что там, где речь идет о редких заболеваниях врачи должны быть осторожны в использовании ИИ, так как он может опираться на не всегда точные данные.