Микроскоп с дополненной реальностью поможет найти опухоль в режиме реального времени

Разработчики компании Google представили программу, которая значительно упросит работу гистологов. Она помогает обнаружить опухолевые клетки, обводя их прямо на экране дополненной реальности, встроенном в микроскоп. Технология представлена на ежегодной конференции AACR (Annual Meeting of the American Association for Cancer Research). Авторы отмечают, что для пользования новой техникой не нужно менять оборудование, так как необходимые комплектующие могут встраиваться в уже имеющиеся приборы. Технология разработана на основе компьютерного зрения, которое позволяет с высокой точностью идентифицировать патологические участки тканей и «сообщать» об этом исследователю в режиме реального времени. За основу прототипа светового микроскопа с дополненной реальностью исследователи взяли серийную модель и немного ее видоизменили. Между объективом и окуляром они вставили два модуля, один из которых частично перенаправлял свет на электронную матрицу, где изображение анализировалось, а другой проецировал получившуюся картинку прямо на видимый гистологом участок ткани. Вторая важная часть прибора – алгоритм обработки – разработана программистами Google в виде глубокой сверточной нейросети, основанной на алгоритме, который ранее создали в Университетском колледже Лондона и уже использовали в других биомедицинских работах. Эту нейросеть натренировали пока лишь на двух типах опухолей: раке предстательной железы (285 изображений) и метастазах рака молочной железы в регионарных лимфатических узлах (399 изображений). Но ее с одинаковым успехом можно использовать для поиска других видов злокачественных новообразований. [caption id="attachment_3821" align="alignnone" width="1600"] Слева: схематический обзор ARM. Цифровая камера фиксирует одно и то же поле зрения (FoV) в качестве пользователя и передает изображение на подключенный вычислительный блок, способный выполнять вывод в режиме реального времени модели машинного обучения. Результаты возвращаются обратно в пользовательский AR-дисплей, который встроен в окулярную линзу и проецирует вывод модели на ту же плоскость, что и слайд.Справа: изображение нашего прототипа, которое было дооснащено типичным клиническим светлым микроскопом.[/caption] Алгоритм, помимо выделения подозрительных областей, может строить тепловые карты, причисляя каждому пикселю свой тепловой показатель, что облегчает гистологу понимание общей картины. Его отдельная положительная черта в том, что несмотря на работу с высококачественными снимками в процессе обучения, он успешно находит патологию и на тех изображениях, которые получаются на микроскопе, без потери чувствительности. Разработчики предполагают, что оборудование сможет работать на любых микроскопах в режиме AR (дополненной реальности) и станет верным помощникам патоанатомической службе. Подготовила Анна Хоружая Источник