ОСНОВНЫЕ ТЕЗИСЫ
- Украинская разработчица Яна Марисова создала AI-систему, которая распознаёт намерения движения руки ребёнка с помощью компьютерного зрения и управляет робототехническим пальцем. Проект вырос из дипломной работы по компьютерным наукам и стал основой для реального assistive-решения.
- Система объединяет искусственный интеллект, 3D-печать и доступные электронные компоненты, предлагая альтернативу дорогим детским протезам. Решение ориентировано на безопасное взаимодействие, модульность и возможность масштабирования для детей с врождёнными или приобретёнными повреждениями верхних конечностей.
Как работает этот подход, с какими вызовами столкнулась инженер и почему это имеет социальное значение — далее в материале.
Техническая суть: распознавание намерений, а не жестов
Техническая суть проекта заключается в распознавании намерений движения руки с помощью компьютерного зрения и преобразовании этого намерения в управляющую команду для робототехнического объекта. Система анализирует видеопоток с камеры в реальном времени, определяет текущее состояние руки и после распознавания передаёт управляющий сигнал на робототехнический модуль, который физически выполняет соответствующее действие.
Модель компьютерного зрения обучена на самостоятельно созданном и аннотированном датасете, отражающем реальные условия использования, различные положения руки и переходные состояния движения. Яна Марисова работает не с отдельными жестами, а с логикой намерения — чтобы система реагировала на осознанные действия пользователя, игнорируя случайные движения.
Для этого модель различает четыре функциональных состояния руки:
Idle — рука в состоянии покоя
Intent Grasp — намерение выполнить захват
Hold — активное удержание объекта
Intent Release — намерение отпустить объект
Гибридная архитектура: keypoint detection + CNN
Марисова использует гибридную архитектуру, которая сочетает keypoint detection и CNN-классификацию, поскольку для детских сценариев работы важны стабильность, минимум ложных срабатываний и воспроизводимость в реальных условиях.
Keypoint detection (детекция ключевых точек руки) даёт «анатомическую геометрию» — положение суставов, углы сгиба, расстояния между ключевыми точками. CNN (convolutional neural network) работает с визуальными признаками кадра/ROI руки и помогает «считывать контекст» — мелкие детали позы, вариации освещения, нетипичные ракурсы, особенности детской руки.
Далее Яна объединяет эти две ветви (feature fusion) и подаёт их на финальный классификатор, который определяет одно из 4 состояний.
«Почему я выбрала именно этот подход: одна CNN без keypoints может быть чувствительной к фону/свету, а только keypoints иногда теряют нюансы намерения и контекста. Вместе они взаимно усиливают друг друга и дают более надёжное поведение в реальном использовании», — говорит она.
Pipeline: от камеры до движения пальца
Система работает как единая непрерывная цепочка — от зрительного восприятия до физического действия.
Камера в реальном времени считывает изображение руки и передаёт его в модуль компьютерного зрения. Алгоритм анализирует положение руки, её движение и контекст, после чего определяет текущее состояние — покой, намерение захвата, удержание или намерение отпускания.
Когда состояние подтверждается, формируется управляющий сигнал. Этот сигнал передаётся на микроконтроллер Arduino, который отвечает за физическую часть прототипа. Arduino преобразует полученную команду в управление сервоприводом, который осуществляет соответствующее движение робототехнического пальца — сгибание, удержание или разгибание.
При этом система не реагирует на одиночные или хаотичные движения, ограничивает скорость и амплитуду механики и работает предсказуемо.
«В результате пользователь получает ощущение естественного взаимодействия, где его намерение плавно превращается в физическое действие без резких или опасных реакций», — рассказывает разработчица.
Физический прототип: 3D-печать и лабораторный формат
На текущем этапе это функциональный технический прототип, собранный в лабораторном формате. Физически он ещё не интегрирован в носимую конструкцию — все компоненты временно закреплены на основе (коробке), которая используется как стабильная платформа для тестирования механики и электроники.
Робототехнический палец напечатан на 3D-принтере из лёгкого пластика и состоит из нескольких сегментов, соединённых шарнирами. Движение осуществляется через тросовый механизм, который приводится в действие сервоприводом. Такая схема позволяет имитировать базовое сгибание и разгибание пальца при минимальном весе и простой конструкции.
Сервопривод и микроконтроллер Arduino на данный момент подключены внешне — это сделано осознанно, чтобы иметь полный доступ к системе во время наладки, калибровки и экспериментов с алгоритмами управления.
«Вся конструкция пока ориентирована на проверку принципа работы: корректно ли намерение, распознанное системой компьютерного зрения, преобразуется в физическое движение. Форм-фактор будущего носимого решения пока не зафиксирован», — поясняет Яна.
Чем это отличается от существующих протезов
Многие функциональные детские протезы сегодня являются дорогими, сложными в производстве и требуют частых замен по мере роста ребёнка. Яна строит свою работу полностью на 3D-печати, доступных электронных компонентах и программном управлении, что в долгосрочной перспективе позволяет существенно снизить стоимость и быстро адаптировать устройство под конкретного ребёнка без полного перевыпуска.
Проект начинается с модульного решения — отдельного пальца, которое легче, быстрее в интеграции и психологически проще для ребёнка. Таким образом можно постепенно наращивать функциональность, не перегружая пользователя.
В отличие от миоэлектрических протезов, которые требуют стабильных мышечных сигналов (что часто сложно или невозможно для детей), здесь используется компьютерное зрение и распознавание намерений движения, что делает взаимодействие менее требовательным к физическим возможностям ребёнка.
Социальная миссия в помощь тысячам детей
Своей разработкой разработчица решает социальную и экономическую проблему доступа к функциональным вспомогательным решениям для детей с особенностями рук. В мирное время это уже серьёзный вызов, но в условиях войны проблема становится ещё острее.
Из-за войны в Украине появилась новая большая группа детей, получивших травмы в результате боевых действий, взрывов или обстрелов. Для многих из них доступ к сложным, дорогим протезам крайне ограничен. Для семей, пострадавших от войны или вынужденных переехать, такие расходы часто являются непосильными.
Если говорить о масштабе, в мире ежегодно рождаются или получают травмы с повреждениями верхних конечностей десятки тысяч детей. Война лишь подчеркнула, насколько быстро растёт потребность в доступных assistive-технологиях, особенно для самых маленьких.
«Этот проект можно назвать другим классом решения — лёгкий, доступный, адаптивный инструмент, который может дать ребёнку функциональность уже сейчас и развиваться вместе с ним, подарив возможность жить полноценной жизнью даже в самых сложных обстоятельствах», — говорит Марисова.
От прототипа к коммерческому продукту
Чтобы это стало коммерческим продуктом, необходим поэтапный и очень ответственный переход от исследования к практике.
Первый шаг — техническая зрелость. Это означает расширенный и стабилизированный датасет, воспроизводимые метрики, чёткие протоколы тестирования и надёжное поведение системы в реальных условиях. Параллельно должна быть доработана аппаратная часть: носимый форм-фактор, сенсоры обратной связи, безопасная механика и понятный пользовательский сценарий.
Второй шаг — валидация со специалистами. Без сотрудничества с эрготерапевтами, протезистами и клиниками невозможно говорить о продукте. Именно они помогут сформировать требования, сценарии использования, ограничения и критерии безопасности. На этом этапе возможны пилотные программы или совместные R&D-проекты.
Третий шаг — определение модели развития. Яна видит несколько реалистичных путей: развитие как самостоятельного продукта с фокусом на доступность и модульность; коллаборация с другими стартапами в сфере assistive или медицинских технологий, где её разработка может стать интеллектуальным модулем управления; лицензирование или передача части IP (например, AI-части) компаниям, которые уже имеют производственную и клиническую инфраструктуру.
«На этом этапе мне ближе путь партнёрского развития, я не хочу быстро продавать свою идею. Я открыта к коллаборациям, совместным исследованиям, но хочу сохранить контроль над качеством, безопасностью и ценностями проекта», — говорит она.
Почему вы можете доверять vesti-ua.net →