Хирургический робот осваивает основные процедуры с помощью видеообучения и соответствует человеческой точности

Исследователи из университетов Джонса Хопкинса и Стэнфорда https://hub.jhu.edu/2024/11/11/surgery-robots-trained-with-videos/ добились значительного успеха в роботизированной хирургии - они научили робота-хирурга выполнять основные процедуры, просто посмотрев видео, на котором человеческие хирурги делают свое дело.

Команде удалось запрограммировать хирургическую систему da Vinci на выполнение трех основных, но критически важных хирургических задач: работу с иглами, подъем тканей и наложение швов на раны. И она делает это с тем же уровнем мастерства, который Вы могли бы наблюдать у опытных хирургов. Это огромный шаг на пути к полностью автономной роботизированной хирургии.

"Замечательно иметь такую модель, когда мы просто подаем сигнал с камеры, а она предсказывает необходимые движения робота для операции", - говорит доктор Аксель Кригер, доцент кафедры машиностроения JHU и старший автор исследования. "Мы считаем, что это значительный скачок вперед в медицинской робототехнике"

Для этого исследовательская группа объединила имитационное обучение с архитектурой, похожей на языковую модель, используемую в ChatGPT. Но вместо того, чтобы сосредоточиться на словах, их модель разбивает хирургические движения математически, превращая их в точные действия робота.

Чтобы обучить робота, они скормили ему сотни хирургических видео, снятых с камер, установленных на запястьях роботов da Vinci, во время реальных операций. Этот огромный набор данных получен из почти 7000 систем да Винчи по всему миру, которые используют более 50 000 обученных хирургов.

Несмотря на то, что система да Винчи широко используется, точность была слабым местом. Исследовательская группа решила эту проблему, заставив робота выполнять движения в зависимости от окружающей обстановки, а не делать точные, заранее заданные движения, и это значительно улучшило ситуацию.

Одна из самых невероятных вещей - это то, насколько адаптируемыми становятся системы. "Модель так хорошо учится тому, чему мы ее не учили", - говорит ведущий автор Джи Вунг "Брайан" Ким, постдок из Университета Джона Хопкинса. "Например, если она уронит иглу, то автоматически поднимет ее и продолжит работу. Это не то, чему я его научил"

Эта разработка означает, что больше нет необходимости кропотливо программировать каждое конкретное движение для выполнения хирургической задачи, на что раньше уходили годы, чтобы добиться правильного результата только для одного типа процедур. Благодаря новому подходу робот может выучить всю процедуру, наблюдая за ней, всего за несколько дней.

Они представили свои результаты на Конференции по обучению роботов в Мюнхене, продемонстрировав, как ИИ и медицинские технологии объединяются в хирургической робототехнике.