Введение
Разработка различных вариантов интерфейса «мозг-компьютер» уже давно перестала быть чисто экспериментальным направлением и находит всё большее практическое применение. Исследованием и развитием данного направления занимаются как известные научные лаборатории по всему миру, так и разнообразные open source сообщества, например, проект OpenBCI, для самых различных целей — в качестве объекта управления может выступать не только компьютер, но и любое другое электронное устройство: квадрокоптер, система «умного дома», промышленный робот или боевой дрон, экзоскелет и даже искусственные органы чувств.
В России работы в направлении нейрокомпьютерных интерфейсов (BCI, brain-computer interface) ведутся разными научными коллективами, но чаще других в последнее время упоминается лаборатория нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ. Были разработаны методики игрового обучения управлению BCI и различные компьютерные программы. Благодаря одной из них лишённые возможности печатать люди могут набирать текст, мысленно выбирая нужную букву на пересечении символьных строк и рядов. Другие программы созданы для посттравматической реабилитации методами биологической обратной связи и направлены на восстановление функций самого мозга.
Медицина на данный момент является одной из областей науки, где применения нейроинтерфейсов наиболее востребовано. Здесь интерфейс «мозг – компьютер» открывает новые возможности в области протезирования и реабилитации инвалидов с различными моторными нарушениями. Например, после инсульта многие пациенты не могут говорить или двигаться. В этой ситуации нейроинтерфейс выступает умным посредником между мозгом и внешней реальностью, а иногда и единственным средством общения.
С недавнего времени к решению задач, в которых активно применяются нейрокомпьютерные интерфейсы, подключились и ученые Крымского федерального университета им. В.И.Вернадского. Сотрудниками университета, в частности ас. Лариной Натальей Валерьевной, было предложено (и были получены хорошие результаты) использовать нейрокомпьютерный интерфейс в реабилитации детей с синдромом ДЦП.
В результате университетом был выигран грант ФЦП «Разработка комплекса экзоскелета кисти с внешним программным управлением и биологической обратной связью для процедуры реабилитации детей с синдромом ДЦП», руководитель: д.б.н. профессор, Павленко В.Б. Источник финансирования: Министерство науки и высшего образования РФ (грант в форме субсидий в целях реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно- технологического комплекса России на 2014 — 2020 годы»). Уникальный идентификатор проекта RFMEFI60519X0186.
В рамках данного гранта сотрудниками лаборатории “ФабЛаб КФУ” и производятся исследования, направленные на разработку нейрокомпьютерного интерфейса, который будет построен на базе ЭЭГ усилителя NVX-52, производства компании «Медицинские компьютерные системы» и экзокисти «Экзокисть — 2» производства АО “НПО “Андроидная техника”.
Главная часть системы – программное обеспечение, которое позволит выделить в входном потоке данных ЭЭГ признаки, характерные при мысленном представлении движений, и, в дальнейшем, сформировать управляющие сигналы для выполнения движений на экзокисти. Программный комплекс должен реализовать весь функционал, начиная со съема данных от датчиков, генератора различных режимов активации и формирование базы данных для обучения нейронной сети, классификатор движения и формирование сигнала для исполнительного механизма экзокисти.
Программное обеспечение, ответственное за распознавание потоковых данных ЭЭГ, планируется реализовать при помощи искусственной нейронной сети (ИНС).
Поскольку для обучения нейронной сети крайне желательно использовать данные, которые были получены с того же энцефалографа, данные с которого будут использоваться и в режиме классификации, а также принимая во внимание тот факт, что для обучения сети необходимо несколько тысяч представлений каждого классифицируемого движения, было решено произвести записи энцефалограмм при представлении движений с около 200 студентов первого курса Медицинской академии имени С.И. Георгиевского. Всего с каждого студента предполагается запись 10 сеансов.
Для представления стимулов и записи файлов энцефалограмм нами используется сценарий opensourse фреймворка для разработки нейрокомпьютерных интерфейсов OpenVibe, имеющий в своем составе драйвер для используемого нами ЭЭГ усилителя NVX-52. Согласно сценарию, испытуемый видит в течении нескольких секунд на экране монитора стрелки вправо/влево, в течении этого времени он должен представлять движения, запись данных проиcходит в формат EDF+, содержащем временные метки появления стрелок вправо/влево на экране монитора.
Для разработки архитектуры и прототипирования нейронной сети нами выбрана библиотека Keras, реализованная на языке Python. Для работы в реальном приложении для экзокисти – библиотека DeepLearning4j на языке java.
Для предварительной обработки данных, удаления шума, фильтрации, ресемплинга было написано собственное программное обеспечение на языке программирования java. Использование набора адаптивных фильтров данного ПО позволяет получить временные последовательности, пригодные для подачи на вход нейронной сети для обучения. Для облегчения работы с данными при обучении искусственной нейронной сети для распознавания различных состояний по сигналам ЭЭГ разработан конвертер EDF файлов в несколько форматов CSV: для DeepLearning4j, Keras, OpenVibe.
Также конвертер позволяет понижать частоту сигнала ЭЭГ, применять фильтры, убирать шумы. Для ускорения конвертации работает в 4 потоках, задействовав 4 ядра процессора.
сейчас разрабатывается программное обеспечение ИНН….
ВНИМАНИЕ!!! нужны добровольцы! :)
Приглашаем студентов первого курса, обучающихся на кафедре нормальной анатомии человека, принять участие в исследованиях, направленных на создание нейрокомпьютерного интерфейса в рамках гранта ФЦП.
Нам нужны добровольцы, для снятия с них энцефалограмм. Каждому студенту, кто примет участие в исследованиях: 1) мы запишем его энцефалограммы на флешку. 2) Ему будут зачислены дополнительные баллы к рейтингу на кафедре, за помощь в научных исследованиях.
Для участия необходимо 1) Подписаться на сообщество «ФабЛаб КФУ». 2) Написать сообщение руководителю проекта в личный чат, или на email адрес fablab@cfuv.ru, в теме письма укажите «участие в исследованиях» 3) ждать дальнейших инструкций