Исследователи из Корнелла разработали 3D VR-гарнитуру MouseGoggles Duo для мышей с помощью Raspberry Pi 4
Исследователи Корнельского университета создали 3D VR-гарнитуру MouseGoggles Duo для лабораторных мышей, используя 3D-печатные детали и программное обеспечение с открытым исходным кодом, работающее на Raspberry Pi 4. Мыши, использующие гарнитуру Duo, видят виртуальный мир с дорожками, препятствиями и наградами, бесконечно бегая по сферической беговой дорожке. Гарнитура устраняет необходимость в громоздких видеопроекторах и физических лабиринтах для мышей.
Мыши часто используются в исследовательских лабораториях для изучения работы мозга благодаря их быстрой адаптации к незнакомой среде и способности к быстрому обучению. Эти особенности могут быть использованы для того, чтобы помочь исследователям понять нейродегенеративные заболевания, такие как болезнь Альцгеймера, которые приводят к потере памяти и контроля у людей. Трудности, с которыми сталкиваются исследователи, включают время и стоимость строительства настоящих мышиных лабиринтов, а также проблемы создания убедительной симуляции в виртуальной реальности.
Гарнитура MouseGoggles Duo была разработана с учетом этих факторов. Корпус напечатан в 3D-формате, что обеспечивает низкую стоимость и быструю итерацию дизайна. В корпусе размещены два круглых светодиодных дисплея размером 1,09 дюйма (2,76 см), сфокусированных линзами Френеля размером 0,5 дюйма (1,27 см), которые обеспечивают широкое поле обзора (FOV) в 230 градусов по горизонтали и 140 градусов по вертикали. Поскольку гарнитура довольно велика по сравнению с головой, во время экспериментов ее устанавливают перед лицом сдерживаемой мыши.
Одноплатный компьютер (SBC) Raspberry Pi 4 одноплатный компьютер (SBC) выполняет 3D-симуляции, созданные игровым движком Godot с открытым исходным кодом https://godotengine.org/ работающим поверх Raspberry Pi OS. Система способна генерировать кадры со скоростью 80 кадров в секунду и задержкой между вводом и отображением менее 130 мс для полноэкранных обновлений.
Когда мышей подвергали VR-тестам, таким как поиск вознаграждений, исследователи обнаружили, что фокусировка, позиционирование VR-объектов и другие факторы MouseGoggles Duo хорошо сравнимы с традиционными дисплеями. За мозгом мышей велось непосредственное наблюдение с помощью двухфотонной кальциевой визуализации зрительной коры и электрофизиологической записи гиппокампа для получения достоверных данных.
Читатели, которые хотят бесконечно бегать в VR-мирах, могут воспользоваться VR-беговыми дорожками, такими как серия Kat Walk C2, продающаяся на Amazon. Те, кто слишком устал от ходьбы в течение дня, могут расслабиться с помощью пары легких AR-очков, таких как Xreal AR glasses, продающихся на Amazon. Читатели, которые не хотят даже шевелить пальцами, могут записать свое имя в лист ожидания на сайте Элона Маска Neuralink для имплантации интерфейса мозг-компьютер (BCI), чтобы они могли играть и писать в Твиттер, опираясь только на свои мысли.
Источник(и)
Очки MouseGoggles предлагают погрузиться в изучение нейронной активности
Дэвид Натт, Cornell Chronicle
18 декабря 2024 г
Благодаря своей генетической структуре, способности ориентироваться в лабиринтах и готовности работать за сыр, мыши уже давно стали основной моделью для поведенческих и неврологических исследований.
В последние годы они вышли на новую арену - виртуальную реальность, и теперь исследователи из Корнелла создали миниатюрные VR-гарнитуры, чтобы погрузить их в нее еще глубже.
Исследователи из Корнелла создали миниатюрные VR-гарнитуры для более глубокого погружения мышей в виртуальную среду, которая может помочь выявить нейронную активность, определяющую пространственную навигацию и функцию памяти.
Исследователи из Корнелла создали миниатюрные VR-гарнитуры для более глубокого погружения мышей в виртуальную среду, которая может помочь выявить нейронную активность, определяющую пространственную навигацию и функцию памяти.
Очки MouseGoggles - да, они выглядят так же мило, как и звучат - были созданы с использованием недорогих готовых компонентов, таких как дисплеи смарт-часов и крошечные линзы, и обеспечивают визуальную стимуляцию в широком поле зрения, отслеживая движения глаз мыши и изменения размера зрачка.
Технология способна помочь выявить нейронную активность, которая определяет пространственную навигацию и функцию памяти, что даст исследователям новые знания о таких расстройствах, как болезнь Альцгеймера, и возможных методах ее лечения.
Исследование, опубликованное 12 декабря в журнале Nature Methods, проводилось под руководством Криса Шаффера, профессора биомедицинской инженерии в Корнеллском инженерном институте, и Яна Эллвуда, доцента кафедры нейробиологии и поведения в Колледже искусств и наук. Ведущими авторами исследования являются постдокторский исследователь Мэтью Айзексон и докторант Хонгю Чанг.
"Это редкая возможность при создании инструментов, когда Вы можете сделать что-то, что экспериментально гораздо мощнее, чем нынешние технологии, и при этом проще и дешевле в изготовлении", - сказал Айзексон. "Это дает больше экспериментальных возможностей для нейронауки, и это гораздо более доступная версия технологии, так что ее может использовать гораздо больше лабораторий"
Лаборатория Шаффера, которой он руководит вместе с Нозоми Нишимурой, доцентом биомедицинской инженерии, разрабатывает инструменты и методы на основе оптики, которые могут быть использованы наряду с другими методиками для изучения молекулярных и клеточных механизмов, способствующих потере функций при нейродегенеративных заболеваниях. Одним из конкретных направлений исследований было изучение необъяснимого снижения мозгового кровотока у мышей с болезнью Альцгеймера. Разблокировав крошечные капилляры и увеличив этот поток, исследователи показали, что функция памяти у мышей улучшается в течение нескольких часов.
"Это было очень интересно с точки зрения того, что, возможно, есть что-то, что можно сделать при болезни Альцгеймера, что может восстановить некоторые когнитивные функции", - сказал Шаффер. "Следующие шаги - выяснить, как улучшение кровотока улучшает работу нейронов в мозге. Но чтобы провести эти эксперименты, нам нужны были новые возможности по сравнению с теми, что существовали в мире до этого"
Около десяти лет назад исследователи начали устанавливать громоздкие - и довольно дорогостоящие - проекционные экраны, чтобы мыши могли перемещаться в среде виртуальной реальности, но эти аппараты часто бывают громоздкими, а возникающее световое загрязнение и шум могут нарушить ход экспериментов.
"Чем более захватывающей мы можем сделать эту поведенческую задачу, тем более натуралистичную функцию мозга мы будем изучать", - говорит Шаффер.
Айзексон, который ранее разрабатывал системы отображения для плодовых мушек, решил собрать стационарную VR-установку, которая была бы проще, но еще более захватывающей, чтобы мыши могли быстрее обучаться. Так получилось, что многие из необходимых ему компонентов - крошечные дисплеи, крошечные линзы - уже были в свободной продаже.
"Этому определенно способствовала хакерская этика - брать детали, созданные для чего-то другого, а затем применять их в новом контексте", - говорит Айзексон. "Как оказалось, дисплей идеального размера для мышиной VR-гарнитуры уже практически создан для умных часов. Нам повезло, что нам не нужно было ничего создавать или проектировать с нуля, мы могли легко найти все необходимые недорогие детали"
Очки не являются носимыми в традиционном смысле этого слова. Мышь стоит на беговой дорожке, зафиксировав голову на месте, и смотрит в пару глаз. Затем можно получить флуоресцентные изображения нейронной активности мыши.
Работая с лабораторией Эллвуда, команда провела ряд тестов на мышах-беглецах. В неврологическом плане они исследовали две ключевые области мозга мышей: первичную зрительную кору, чтобы убедиться, что очки формируют четкие, высококонтрастные изображения на сетчатке; и гиппокамп, чтобы убедиться, что мозг мыши успешно отображает виртуальную среду. Другие тесты были более ориентированы на технику, чтобы проверить, быстро ли обновляются дисплеи очков и реагируют ли они на движения мыши.
И, что самое важное, исследователям нужно было наблюдать за тем, как мыши ведут себя в новых очках. Одним из самых эффективных тестов было обмануть мышь, заставив ее поверить, что к ней приближается расширяющаяся темная клякса.
"Когда мы пробовали провести такой тест в типичной VR-установке с большими экранами, мыши вообще никак не реагировали", - сказал Айзексон. "Но почти все мыши, впервые увидев это в очках, подпрыгивают. У них была огромная реакция испуга. Похоже, они действительно думали, что на них нападает надвигающийся хищник"
Исследователи получили неожиданный вклад, когда представили свои результаты в Nature Methods. Анонимный рецензент предложил исследователям добавить набор камер в каждый глаз, которые могли бы записывать зрачки мыши и проверять, насколько животное вовлечено и возбуждено.
Эта просьба была одновременно и трудной задачей, и счастливым благословением.
"Они бросили нам вызов - сделать что-то действительно сложное и чтобы все получилось", - сказал Шаффер. "За последний год было опубликовано уже три работы, посвященные очкам виртуальной реальности для мышей. Вы знаете, поле созрело для того, чтобы это произошло. Но мы единственные, у кого есть пупиллометрия и отслеживание движения глаз, а это критически важная возможность для многих областей нейронауки"
Исследователи собираются и дальше совершенствовать очки, создавая легкую и мобильную версию для крупных грызунов, таких как древесные землеройки и крысы, которая будет включать в себя аккумулятор и встроенную обработку данных. Шаффер также видит потенциал в том, чтобы включить в опыт VR больше чувств, таких как вкус и запах.
"Я думаю, что пятисенсорная виртуальная реальность для мышей - это направление для экспериментов, - сказал он, - где мы пытаемся понять эти действительно сложные формы поведения, где мыши интегрируют сенсорную информацию, сравнивают возможности с внутренними мотивационными состояниями, такими как потребность в отдыхе и пище, и затем принимают решения о том, как себя вести"
Среди соавторов - докторант Рик Зиркель, постдокторский исследователь Лора Берковиц, а также Юсол Парк '22 и Данью Ху '22.
Исследование было поддержано семейной стипендиальной программой Cornell Neurotech Mong Family Fellowship; стипендиальной программой BrightFocus Foundation Alzheimer's disease; Фондом исследований мозга и поведения; и Национальными институтами здоровья.
