Один из известнейших политиков в мире Генри Киссинджер высказал мнение о том, что во взаимодействии с искусственным интеллектом (ИИ) для человечества точкой невозврата станет момент, когда рекомендации, вырабатываемые машинами для «оптимизации» нашей жизни, будут недоступными для нашего собственного понимания. О том, как сейчас развивается это направление в нашей стране, насколько справедливы опасения известного американского дипломата, а также о перспективах применения ИИ в медицине мы побеседовали с ведущим отечественным экспертом отрасли. Председатель научного совета Российской ассоциации искусственного интеллекта, доктор медицинских наук, профессор Борис Аркадьевич Кобринский согласился ответить на вопросы нашей редакции.

— В качестве комментария к высказыванию Генри Киссинджера необходимо отметить, что активно развивающиеся в настоящее время технологии машинного обучения, в частности искусственные нейронные сети, не дают объяснения своих решений и «рекомендаций», в отличие от интеллектуальных систем предшествующего периода, опиравшихся на экспертные знания. И именно это представляет опасность. Поэтому одна из важнейших проблем современного периода развития искусственного интеллекта — достижение объяснимости гипотез, формируемых компьютерными системами на основе анализа данных.

— Борис Аркадьевич, сегодня тема ИИ на пике популярности. Однако, несмотря на повсеместное обсуждение, пока далеко не многие могут похвастаться четким пониманием того, что такое ИИ и чем он в принципе отличается от человеческого. Расскажите, пожалуйста.

— Главное, чем естественный интеллект отличается от искусственного, — способностью выявлять неизвестные ранее закономерности, на основе чего могут формироваться новые знания. Если же обратиться к понятию ИИ, то необходимо уточнить терминологию. В английском языке Artificial Intelligence (термин был предложен Джоном Маккарти в 1956 году) означает «умение рассуждать разумно». Именно поэтому можно говорить о том, что интеллектуальные системы вполне могут выполнять роль консультанта или ассистента, предлагая свое видение решения, хотя принятие решения должно быть за человеком. Тем более когда речь идет о медицине.

— Вы являетесь председателем научного совета Российской ассоциации искусственного интеллекта. Что это за организация?

— Ассоциация искусственного интеллекта была создана 34 года назад, в 1989 году. У ее истоков стоял известный отечественный ученый Дмитрий Александрович Поспелов. Основная цель ассоциации состоит в развитии и продвижении идей ИИ, мониторинге развития теории и практики ИИ, выстраивании продуктивного диалога между учеными, разработчиками интеллектуальных систем и пользователями. За годы работы нашим экспертам удалось сформировать представления о возможностях и ограничениях ИИ, «точках приложения» технологии в различных предметных областях, включая медицину.

— Вы упомянули такую формулу, как «умение рассуждать разумно». Но это же свойственно и человеку. Тогда для чего нужно развивать ИИ?

— Системы ИИ базируются на анализе вложенных в программу знаний, или на извлечении знаний из конкретных данных. Рассуждать разумно, в определенных пределах, ИИ, безусловно, способен, но только в конкретной проблемной области, имитируя человеческий способ принятия решений. А это вовсе не то же, что полноценный интеллект. Мы совершенно ясно понимаем, что в изобретении чего-то принципиально нового у естественного интеллекта конкурентов нет. Но ИИ может активно внедряться в нашу жизнь, становиться партнером-помощником, принимать на себя выполнение многих функций, освобождать человека от монотонной работы. В то же время технологии машинного обучения, в частности ChatGPT4, могут очень удачно формировать предложения, но это не связано с мышлением, а обусловлено умением имитировать подобные тексты и большими скоростными возможностями компьютерной программы в подборе необходимых слов и выражений.

Одна из задач нашей ассоциации как раз и состоит в формировании правильных представлений общества о возможностях ИИ, развитии этого направления. Мы регулярно проводим научные семинары и конференции, участвуем в круглых столах по различным аспектам применения ИИ. Сегодня в России активно развивается ИИ, создан федеральный проект «Искусственный интеллект» национального проекта «Цифровая экономика».

— Можно ли сегодня отметить какие-то общие задачи и проблемы, с которыми сталкиваются ученые и разработчики систем ИИ, независимо от специализации?

— В современных условиях, к сожалению, ни machine learning, ни нейросети не обладают способностью к объяснению решений, которые предлагаются ими пользователю, как я уже отметил выше. Преодоление этого барьера, полагаю, крайне важно для дальнейшего развития и широкого применения интеллектуальных систем в обществе. Пока так называемая прозрачность нейросетей касается получения информации лишь об изменении коэффициентов признаков на слоях сети, что позволяет говорить об интерпретации процесса решения задачи, но не дает объяснения принятому решению. А именно последнее является залогом избежания возможных ошибок при реализации выводов систем ИИ.

— Объяснимость гипотез ИИ беспрецедентно значима в медицине. Как отметил в одном из своих выступлений министр здравоохранения М.А. Мурашко, «любая незначительная ошибка при обучении ИИ может привести к ошибкам в лечении у целых групп пациентов».

— Хочу еще раз подчеркнуть, что сегодня речь идет о необходимости объяснений для всех приложений, используемых на критически значимых направлениях: на техногенно опасных объектах, в авиа- и космической отраслях, в системе обороны и, безусловно, в медицине. Особенно — в реанимации. Там должны быть очень внятные и быстрые объяснения. Нельзя сказать, что современные системы напрочь лишены этой опции. Уже в первой медицинской экспертной системе MYCIN, созданной в 1976 году, в определенной степени можно было найти объяснение. В ряде используемых ныне тоже присутствуют различные разъяснения выдаваемых гипотез. Именно так реализована только что законченная нами система долабораторной диагностики по наследственным лизосомным болезням.

— В октябре 2021 года был принят первый в России кодекс этики в сфере ИИ. Расскажите об этом, пожалуйста.

— Эксперты нашей ассоциации принимали непосредственное участие в обсуждении проекта этого документа. В кодекс включены важные принципы, которыми должны руководствоваться люди и компании при разработке и эксплуатации прикладных интеллектуальных систем. Основные тезисы документа: человеко-ориентированный и гуманистический подход при развитии технологий ИИ, принцип отсутствия дискриминации, безопасность работы с данными и информацией, идентификация ИИ в общении с человеком, а также, что немаловажно, ответственность за последствия применения ИИ. Вот весьма наглядный пример: во время телефонного звонка принято приветствовать абонента и представляться, если вы ранее не были знакомы. Робот должен делать то же самое. Человек должен понимать, что говорит с роботом, и принимать соответствующие решения в подобной коммуникации. Особенно актуально это в медицине, где уже достаточно широко внедрены голосовые помощники в регистратурах учреждений, хотя они еще требуют дальнейшего усовершенствования.

— Кодекс носит рекомендательный характер, значит, далеко не гарантирует исполнение прописанных в нем норм.

— Могу сказать, что принятый в нашей стране кодекс этики в сфере ИИ — далеко не единственный в мире. Сегодня такого рода документов уже более 100. И все они практически рекомендательного характера. В процессе обсуждения проекта одним из наиболее дискуссионных моментов было разграничение нормативных и этических понятий. Здесь очень тонкая грань между этикой и юридическими последствиями за вред, причиненный человеку ИИ.

— В своих публикациях вы нередко затрагиваете вопрос применения ИИ в сегменте диагностики, а также применения компьютеризированных систем в процессе обучения специалистов. Где еще в здравоохранении сегодня перспективно внедрение ИИ?

— Повсеместная компьютеризация и внедрение дистанционного обучения принципиально изменили систему образования. Созданы медицинские приложения, обеспечивающие обучение на виртуальных моделях и, более того, позволяющие ретроспективно проанализировать ошибки и клинические нюансы. Интеллектуальные обучающие системы обеспечивают имитируемую среду, в которой студенты могут практиковаться без последствий для реальных пациентов. Более того, система предлагает постоянную обратную связь и помощь, направленную на эффективное овладение материалом. Беда заключается в том, что таких систем очень мало.

Что же касается практики, то в последние несколько лет мы наблюдаем рост популярности систем профилактической медицины на базе ИИ. Например, в Федеральном исследовательском центре «Информатика и управление» РАН, где я заведую отделом, разработана система, способная оценивать риски у пациента инфаркта, инсульта, артериальной гипертензии и депрессии. И не просто оценивать, но и предлагать пациенту рекомендации по предикции болезни (конечно, при контроле выдаваемых советов врачом).

Еще одна точка приложения ИИ, получившая мощное развитие в последнее время, —компьютерное зрение — технологии нейросетей глубокого обучения (deep learning). Они используются для анализа медицинских изображений (радиологических, гистологических и др.). Но в определенных ситуациях необходим контент-анализ на основе информации ЭМК пациента. Это один из подходов, страхующих от получения искаженной картины в отдельных клинических случаях, при трудных диагнозах. Это уже не просто размышление об опасностях, но результат анализа, представленный в некоторых аналитических статьях.

— Почему в России эта практика пока не столь распространена? Что мешает?

— У нас сейчас не так много медицинских систем ИИ, исключая, пожалуй, быстро распространяющиеся системы для анализа радиологических изображений. Отчасти причина лежит в финансовой плоскости. Но не только. Имеет место проблема разобщенности программ ИИ по «задачам». Создаются системы отдельно для диагностики, для прогноза заболевания, для выбора лечения и т.д. Но медицина предусматривает целостный и последовательный подход к ведению пациента, которому необходимо поставить диагноз, назначить терапию, рассчитать прогноз с учетом возможных осложнений и множества других нюансов. Исходя из этого, следует разрабатывать для практического здравоохранения не отдельные системы, а сквозные.

Кроме того, все более распространенной становится практика ведения электронных медицинских карт. Ранее все интеллектуальные системы работали автономно, получая всю необходимую информацию от врача-пользователя. Одна из задач, стоящих перед разработчиками ИИ сегодня, — отказ от повторного ввода данных. Но для того, чтобы интеллектуальные системы могли автоматически извлекать данные из ЭМК, последние должны быть структурированы, т.е. иметь однозначные формулировки, а не свободную форму, что пока далеко от реализации, хотя этот процесс идет.

— Насколько реальна роботизация медицины? Уже внедрено немало технологий с использованием «машин», в том числе в операционных. Куда мы движемся?

— Не стоит путать понятия «робот» и «манипулятор». Один из ярких примеров такой путаницы — хирургический робот «Да Винчи». Да, он назван именно так, но по сути является манипулятором, проводником руки и интеллекта врача. Очень хорошим, прогрессивным, но не самостоятельным.

Сегодня в мире уже используются роботы-хирурги, сочетающие комьютерное зрение с анализом движения и манипулированием и позиционированием специальными хирургическими инструментами во время операций, что позволяет хирургам сосредоточиться на сложных аспектах операции, не отвлекаясь на рутинные задачи. Полуавтономно действующие устройства способны выполнять определенные действия в различных хирургических процедурах путем взаимодействия с хирургом, но всегда под его наблюдением. Сегодня люди-хирурги могут управлять роботами-хирургами посредством разнообразных бесконтактных манипуляций. Это манипулирование возможно с помощью движений головы или рук, распознавания речи и голоса или взгляда хирурга. Face MOUSe — интерфейс «человек-робот» — отслеживает в режиме реального времени движения лица хирурга без каких-либо устройств, контактирующих с телом. Алгоритмы машинного обучения, лежащие в основе хирургических роботов, обучаются на датасетах, содержащих массивы клинических данных. Достаточно распространенный подход к обучению путем демонстрации используется для «обучения» роботов самостоятельному выполнению новых задач на основе накопленной информации о проведении операций хирургами. Необходимо отметить, что современный автономный робот, использующий технологии ИИ, может обеспечить эффективность, безопасность и согласованность независимо от навыков и опыта хирурга.

— Любой выпускник медицинского института неоднократно слышал от своих педагогов наставление: тренировать в себе и использовать профессиональное чутье. Собственно, принятие решений в медицине — это и есть особенности мышления опытного врача, опирающегося на знания и интуицию, при рефлексивности в отношении формирующихся гипотез. Заменит ли ИИ человека в этом сегменте?

— Это очень непростой вопрос. Дело в том, что при наполнении базы знаний для принятия решений системой нам иногда удается «вытащить» и интуицию врача-эксперта. Многолетний опыт нашей работы показал, что обойти острые углы противоречий научных школ очень трудно, хотя и возможно, организуя определенным образом работу группы экспертов в процессе «мозгового штурма». В таких обстоятельствах мнения специалистов дополняют друг друга, подмечаются определенные нюансы. Когнитолог — инженер по знаниям — обрабатывает эту информацию, а далее на ее основе формируется база знаний интеллектуальной системы. Кстати, система тоже способна сама себя «экзаменовать», проверяя, достаточно ли ей данных для принятия решений, — это своего рода аналог рефлексивности.

Что же касается пользователя системы — врача — он также должен иметь возможность вкладывать свои представления при интерактивном общении с интеллектуальной системой. Яркий пример — изменение веса того или иного симптома, что влияет на выдвижение диагностической гипотезы. В одной из систем нами был реализован такой механизм. Например, полагая, что шаткость походки у конкретного пациента имеет большое клиническое значение, врач может скорректировать вес этого симптома (на шкале) в сторону увеличения. В ответ будет получена соответствующая гипотеза. Если станет очевидно, что интуиция его подвела, можно вес признака в системе вернуть к исходному значению и получить новую версию. Это человеко-машинное взаимодействие в формировании гипотезы.

— Как вы полагаете, что нас ждет в ближайшем будущем в сегменте ИИ?

— Весьма вероятно, что совсем скоро к нам придет здравое понимание того, чем ИИ является для человечества и что потребует взамен. Быстрыми темпами будет развиваться «бытовое» направление ИИ: умный дом, колонка, управляющая всем вокруг, голосовой помощник. Этим уже никого не удивишь, но такие системы будут и далее «умнеть». Конечно, большое значение будет иметь развитие ИИ в контроле критических инфраструктур, в обороне и промышленности. Говорящие роботы станут более разумными и найдут себе более широкое применение. В медицине и других областях будет идти процесс объединения систем на основе знаний человека с системами, извлекающими знания из анализа больших объемов данных.

В целом же, само появление ИИ заставляет нас искать тонкую грань баланса. Ведь не секрет, что есть люди, исключительно приверженные интеллектуальным системам, принимающие их в свою повседневность, использующие все возможности ИИ и верящие, что математика превыше всего. Есть те, кто категорически не приемлют вторжения «машин» в свою жизнь, противятся применению этих технологий. Как обычно, где-то посередине есть люди, которые осторожно соотносят рекомендации ИИ со своими представлениями, не спешат отвергать новые информационные технологии, хотя и не кидаются «в омут с головой».

Я считаю, что такие интеллектуальные системы вполне могут занять свою нишу ассистента, т. е. помощника, а человеку нужно научиться осознанно воспринимать присутствие ИИ в своей жизни. Важно отдавать себе отчет в том, что это не заменитель на- шего разума, а лишь дополняющий элемент. И при этом понимать опасность неконтролируемого самообучения интеллектуального робота, так же как мы понимаем опасность самообучения с использованием непроверенных методик.