ОСНОВНІ ТЕЗИ
- Українська розробниця Яна Марісова створила AI-систему, яка розпізнає наміри руху руки дитини за допомогою комп’ютерного зору та керує робототехнічним пальцем. Проєкт виріс із дипломної роботи з комп’ютерних наук і став основою для реального assistive-рішення.
- Система поєднує штучний інтелект, 3D-друк і доступні електронні компоненти, пропонуючи альтернативу дорогим дитячим протезам. Рішення орієнтоване на безпечну взаємодію, модульність і можливість масштабування для дітей з вродженими або набутими ушкодженнями верхніх кінцівок.
Як працює цей підхід, з якими викликами зіткнулася інженерка та чому це має соціальне значення — далі у матеріалі.
Технічна суть: розпізнавання намірів, а не жестів
Технічна суть проєкту полягає в розпізнаванні намірів руху руки за допомогою комп'ютерного зору та перетворенні цього наміру на керуючу команду для робототехнічного об'єкта. Система аналізує відеопотік з камери в реальному часі, визначає поточний стан руки та після розпізнавання подає керуючий сигнал на робототехнічний модуль, який фізично виконує відповідну дію.
Модель комп'ютерного зору навчена на власноруч створеному та анотованому датасеті, що відображає реальні умови використання, різні положення руки та перехідні стани руху. Яна Марісова працює не з окремими жестами, а з логікою наміру — щоб система реагувала на усвідомлені дії користувача, ігноруючи випадкові рухи.
Для цього модель розрізняє чотири функціональні стани руки:
Idle — рука у стані спокою
Intent Grasp — намір виконати захват
Hold — активне утримання об'єкта
Intent Release — намір відпустити об'єкт
Гібридна архітектура: keypoint detection + CNN
Марісова використовує гібридну архітектуру, яка поєднує keypoint detection і CNN-класифікацію, тому що для дитячих сценаріїв роботи важливі стабільність, мінімум хибних спрацювань і відтворення в реальних умовах.
Keypoint detection (детекція ключових точок руки) дає "анатомічну геометрію" — положення суглобів, кути згину, відстані між ключовими точками.CNN (convolutional neural network) працює з візуальними ознаками кадру/ROI руки і допомагає "зчитувати контекст" — дрібні деталі пози, варіації освітлення, нетипові ракурси, особливості дитячої руки.
Далі Яна об'єднує ці дві гілки (feature fusion) і подає їх на фінальний класифікатор, який визначає один із 4 станівʼ.
"Чому я обрала саме цей підхід: одна CNN без keypoints може бути чутливою до фону/світла, а лише keypoints інколи втрачають нюанси наміру та контексту. Разом вони взаємно підсилюють одне одного і дають більш надійну поведінку в реальному використанні", — каже вона.
Pipeline: від камери до руху пальця
Система працює як єдиний безперервний ланцюжок — від зорового сприйняття до фізичної дії.
Камера в реальному часі зчитує зображення руки та передає його в модуль комп'ютерного зору. Алгоритм аналізує положення руки, її рух і контекст, після чого визначає поточний стан — спокій, намір захоплення, утримання або намір відпускання.
Коли стан підтверджується, формується керуючий сигнал. Цей сигнал передається на мікроконтролер Arduino, який відповідає за фізичну частину прототипу. Arduino перетворює отриману команду на керування сервоприводом, який здійснює відповідний рух робототехнічного пальця — згинання, утримання або розгинання.
Водночас система не реагує на одиничні або хаотичні рухи, обмежує швидкість і амплітуду механіки та працює прогнозовано.
"У результаті користувач отримує відчуття природної взаємодії, де його намір плавно перетворюється на фізичну дію без різких або небезпечних реакцій", — розповідає розробниця.
Фізичний прототип: 3D-друк та лабораторний формат
На поточному етапі це функціональний технічний прототип, зібраний у лабораторному форматі. Фізично він ще не інтегрований у носиму конструкцію — усі компоненти тимчасово закріплені на основі (коробці), яка використовується як стабільна платформа для тестування механіки та електроніки.
Робототехнічний палець надрукований на 3D-принтері з легкого пластику і складається з кількох сегментів, з'єднаних шарнірами. Рух здійснюється через тросовий механізм, який приводиться в дію сервоприводом. Така схема дозволяє імітувати базовий згин і розгин пальця з мінімальною вагою та простою конструкцією.
Сервопривід і мікроконтролер Arduino наразі підключені зовнішньо — це зроблено свідомо, щоб мати повний доступ до системи під час налагодження, калібрування та експериментів з алгоритмами керування.
"Уся конструкція поки що орієнтована на перевірку принципу роботи: чи коректно намір, розпізнаний системою комп'ютерного зору, перетворюється на фізичний рух. Форм-фактор майбутнього носимого рішення поки не зафіксований", — пояснює Яна.
Чим це відрізняється від існуючих протезів
Багато функціональних дитячих протезів сьогодні є дорогими, важкими у виробництві та потребують частих замін у міру росту дитини. Яна формує свою роботу повністю на 3D-друці, доступних електронних компонентах і програмному керуванні, що у довгостроковій перспективі дозволяє суттєво знизити вартість і швидко адаптувати пристрій під конкретну дитину без повного перевиготовлення.
Проєкт починається з модульного рішення — окремого пальця, яке легше, швидше в інтеграції та психологічно простіше для дитини. Таким чином можна поступово нарощувати функціональність, не перевантажуючи користувача.
На відміну від міоелектричних протезів, які потребують стабільних м'язових сигналів (що часто складно або неможливо для дітей), тут використовується комп'ютерний зір і розпізнавання намірів руху, що робить взаємодію менш вимогливою до фізичних можливостей дитини.
Соціальна місія у допомогу тисячам дітей
Своєю розробкою розробниця вирішує соціальну та економічну проблему доступу до функціональних допоміжних рішень для дітей з особливостями рук. У мирний час це вже є серйозним викликом, але в умовах війни ця проблема стає ще гострішою.
Через війну в Україні з'явилася нова велика група дітей, які отримали травми внаслідок бойових дій, вибухів або обстрілів. Для багатьох із них доступ до складних, дорогих протезів є дуже обмеженим. Для сімей, які постраждали від війни або були вимушені переїхати, ці витрати часто є непосильними.
Якщо говорити про масштаб, у світі щороку народжуються або отримують травми з ушкодженнями верхніх кінцівок десятки тисяч дітей. Війна лише підкреслила, наскільки швидко зростає потреба в доступних assistive-технологіях, особливо для найменших.
"Цей проєкт можна назвати іншим класом рішення — легкий, доступний, адаптивний інструмент, який може дати дитині функціональність уже зараз і розвиватися разом із нею, подарувавши можливість жити повноцінним життям навіть у найскладніших обставинах", — каже Марісова.
Від прототипу до комерційного продукту
Щоб це стало комерційним продуктом, потрібен поетапний і дуже відповідальний перехід від дослідження до практики.
Перший крок — технічна зрілість. Це означає розширений і стабілізований датасет, відтворювані метрики, чіткі протоколи тестування та надійну поведінку системи в реальних умовах. Паралельно має бути доопрацьована апаратна частина: носимий форм-фактор, сенсори зворотного зв'язку, безпечна механіка й зрозумілий користувацький сценарій.
Другий крок — валідація з фахівцями. Без співпраці з ерготерапевтами, протезистами та клініками неможливо говорити про продукт. Саме вони допоможуть сформувати вимоги, сценарії використання, обмеження та критерії безпеки. На цьому етапі можливі пілотні програми або спільні R&D-проєкти.
Третій крок — визначення моделі розвитку. Яна бачить кілька реалістичних шляхів: розвиток як самостійного продукту з фокусом на доступність і модульність; колаборація з іншими стартапами у сфері assistive або медичних технологій, де її розробка може стати інтелектуальним модулем керування; ліцензування або передача частини IP (наприклад, AI-частини) компаніям, які вже мають виробничу й клінічну інфраструктуру.
"На цьому етапі мені ближчий шлях партнерського розвитку, я не хочу швидко продавати свою ідею. Я відкрита до колаборацій, спільних досліджень, але хочу зберегти контроль над якістю, безпекою та цінностями проєкту", — каже вона.
Чому ви можете довіряти vesti-ua.net →