Как исследовательские группы могут собрать больше естественных данных о движении обеих рук и кистей для обучения роботов?

Системы искусственного интеллекта, воплощенные в теле, учатся на основе взаимодействия. Чтобы научить робота брать, размещать, собирать, сортировать или использовать инструменты, исследователям необходимы демонстрационные данные, описывающие не только конечный результат, но и последовательность движений, которые его привели.

Это становится особенно сложной задачей при двуручном и ловком манипулировании. Оператор должен координировать движения двух рук, постоянно корректировать положение суставов и часто одновременно управлять отдельными пальцами. Обычные контроллеры могут управлять роботом, но они могут потребовать от пользователя преобразования естественных человеческих действий в нажатия кнопок, джойстиков или отдельные команды. Видеозапись может записывать происходящее, но она не предоставляет полных данных о движении на уровне суставов.

Носимый экзоскелет ExoArm-7 Pro разработан для решения этой проблемы путем непосредственного захвата движений человеческой руки и преобразования их в высокочастотные данные для дистанционного управления роботами, имитационного обучения, воплощенного ИИ и разработки VLA.

Почему сложно собрать данные о демонстрации двуручного движения?

При выполнении задач с одной рукой уже необходимо учитывать положение, ориентацию, время и контакт. При использовании двух рук задача сбора данных становится сложнее, поскольку обе стороны должны сохранять координацию на протяжении всего выполнения задачи.

Рассмотрим несколько распространенных примеров:

• Одна рука держит контейнер, а другая открывает его.
• Две руки одновременно поднимают или перемещают большой предмет.
• Одна рука фиксирует деталь, а другая использует инструмент.
• Предмет переносится из одной руки в другую.
• Обеими руками сложите или организуйте гибкий предмет.

Для того чтобы эти демонстрации были полезными, система должна фиксировать незначительные изменения в суставах с небольшой задержкой. Кроме того, она должна оставаться достаточно удобной для операторов, чтобы они могли многократно повторять задачу, не опасаясь существенного изменения естественных движений из-за влияния носимого устройства.

Как ExoArm-7 Pro захватывает движения человеческой руки?

ExoArm-7 Pro использует 14-степенную конфигурацию с двумя манипуляторами, каждый из которых имеет семь пассивных шарниров. Когда оператор перемещается, носимая конструкция следует за движением и записывает соответствующие положения шарниров.

В каждом суставе используется разработанный внутри компании модуль энкодера, а 14-битные данные о положении сустава обеспечивают точную обратную связь по положению. Это позволяет системе обнаруживать небольшие угловые изменения, а не регистрировать только общие движения.

В случае дистанционного управления захваченные координаты могут быть переданы роботизированной руке, так что робот будет следовать за движениями оператора. В случае обучения та же информация о движении может стать частью структурированного набора данных, демонстрируемого человеком.

Сможет ли оно реагировать достаточно быстро для дистанционного управления в режиме реального времени?

Оперативность реакции имеет решающее значение, когда оператору необходимо корректировать движение робота во время взаимодействия с объектом. Если данные поступают слишком медленно, робот может почувствовать себя оторванным от оператора, и точное управление станет сложнее.

ExoArm-7 Pro поддерживает частоту дискретизации до 1000 Гц в сочетании с управлением с низкой задержкой на уровне миллисекунд. Этот высокочастотный поток данных помогает сохранять быстрые изменения положения манипулятора и обеспечивает более быстрое сопоставление движений человека и робота.

Система с двумя инерциальными измерительными блоками (IMU) добавляет информацию о движении и ориентации, выходящую за рамки данных, получаемых от энкодеров суставов. Стандартная система включает в себя как задний инерциальный измерительный блок, так и внешний инерциальный измерительный блок, предоставляющие дополнительные данные для интерпретации движений и ориентации оператора.

Ограничит ли носимый экзоскелет возможности оператора?

Система захвата движений должна следовать за пользователем, не становясь при этом центром внимания во время выполнения задачи. Если она слишком тяжелая или неудобная, оператор может изменить позу, сократить движения или стать менее последовательным при повторных демонстрациях.

ExoArm-7 Pro весит 2,6 кг и имеет легкую эргономичную конструкцию. Каждый модуль шарнира энкодера весит менее 70 г и выдерживает нагрузку до 10 Н·м. Регулируемые механические ограничители позволяют настраивать модули шарниров в соответствии с изнашиваемой конструкцией и требованиями эксплуатации.

Такая конструкция делает систему более практичной для многократных сеансов сбора данных в лабораториях, исследовательских центрах и средах разработки робототехники.

Что если задача требует манипуляций на уровне пальцев?

Траектории движения манипулятора могут направлять робота к объекту, но они не описывают, как пальцы формируют захват или манипулируют инструментом. Поэтому задачи, требующие ловкости рук, нуждаются в дополнительном слое данных о движении.

ExoArm-7 Pro можно использовать в паре с дополнительными перчатками для телеуправления ExoGlove Pro. В перчатках используются пять датчиков VetraSense для восстановления полного положения кисти по 25 степеням свободы, что уменьшает количество необходимых датчиков, сохраняя при этом подробную информацию о движении пальцев.

Каждый кончик пальца поддерживает отслеживание по 6 степеням свободы, что позволяет системе регистрировать как положение, так и ориентацию. Регулируемая вибрационная обратная связь также может использоваться для предоставления оператору сигналов взаимодействия во время дистанционного управления.

ExoGlove Pro выдает данные с частотой до 180 Гц и поддерживает проводное соединение с задержкой менее 10 мс. Его SDK и алгоритмы перенацеливания движений помогают преобразовывать положения человеческой руки в различные платформы для ловких рук и робототехники.

Перчатки особенно актуальны для наборов данных, содержащих:

• Точный захват
• эксплуатация инструмента
• Сборка компонентов
• Вращение и переориентация объекта
• Манипулирование гибкими объектами
• Скоординированные движения руки, кисти и пальцев.

Перчатки ExoGlove Pro продаются отдельно и не входят в стандартный комплект ExoArm-7 Pro. Команды, которым требуются только данные на уровне руки, могут использовать стандартную систему, а для проектов, требующих ловкости рук, перчатки могут быть добавлены в качестве дополнительного оборудования.

Как система может интегрироваться с существующей роботизированной платформой?

Команды, занимающиеся обучением роботов, редко используют идентичные аппаратные и программные комплексы. Одна лаборатория может работать с исследовательской манипуляторной рукой, другая — с мобильным двуруким роботом, а третья — со специально разработанной ловкой рукой.

ExoArm-7 Pro включает в себя официальный SDK и бесплатную поддержку интеграции, позволяющую разработчикам подключать полученные данные к своим собственным платформам. Визуальный программный интерфейс поддерживает Windows, macOS и Linux.

Настраиваемые рукоятки управления и дополнительный адаптер для перчаток обеспечивают дополнительную гибкость для различных способов работы. Для приложений, требующих управления руками, поддержка многоплатформенного SDK и алгоритмы перенацеливания движения помогают адаптировать данные о движении человека к роботам с различными структурами суставов.

Это означает, что команды могут рассматривать ExoArm-7 Pro как часть более широкой системы дистанционного управления и передачи данных, а не как замкнутую систему, привязанную к одному роботу.

Где можно использовать собранные данные?

Один и тот же рабочий процесс с использованием носимых устройств может поддерживать несколько этапов разработки робототехники.

Дистанционное управление роботом в режиме реального времени

Оператор может управлять двумя роботизированными манипуляторами посредством естественных движений верхних конечностей, что снижает зависимость от отдельных команд джойстика для каждого сустава.

Коллекция человеческих демонстраций

Исследователи могут записывать, как человек выполняет задачу, включая синхронизацию и координацию движений обеих рук.

Имитационное обучение

Повторяющиеся демонстрации можно объединить в наборы данных, которые помогут роботу изучить стратегии манипулирования на примерах, полученных от людей.

Разработка набора данных VLA

Данные о движении руки и, при необходимости, данные о движении кисти могут быть объединены с другими данными от датчиков и инструкциями по выполнению задачи в рамках исследовательского процесса «Зрение-Язык-Действие».

Робототехническое образование

Университеты и лаборатории могут использовать эту систему для изучения перенацеливания движений, взаимодействия человека и робота, телеуправления и воплощенного интеллекта в рамках единой платформы разработки.

Выбор правильной конфигурации

Стандартный комплект ExoArm-7 Pro включает в себя носимый экзоскелет, датчик IMU, устанавливаемый на спину, и внешний датчик IMU. Эта конфигурация подходит для команд, занимающихся захватом движений обеих рук, дистанционным управлением роботизированной рукой и демонстрацией данных о движениях верхних конечностей.

Для проектов, требующих детального захвата и отслеживания траекторий пальцев, можно дополнительно приобрести комплект ExoGlove Pro, который включает в себя две перчатки для захвата движений, беспроводной приемник и аккумуляторный модуль, а также два кабеля передачи данных USB-C.

Выбор между двумя конфигурациями зависит от требуемой точности выполнения действий. Для задач на уровне руки данные о перчатках могут не потребоваться, в то время как для ловких манипуляций и полных демонстраций движений рук полезно одновременное получение данных с обоих уровней.

Превращение естественных действий человека в структурированные обучающие данные.

Главная задача в области воплощенного ИИ заключается не просто в сборе большего количества данных. Речь идет о сборе данных, которые точно отражают то, как люди выполняют полезные физические задачи.

Благодаря сочетанию 14-степенной системы слежения за движением двух манипуляторов, высокоточной обратной связи от энкодера, частоты дискретизации до 1000 Гц, двухканального датчика IMU и опциональной системы захвата положения кисти с 25 степенями свободы, ExoArm-7 Pro обеспечивает практический путь от естественных движений человека к структурированному дистанционному управлению и данным для обучения роботов.

Для команд, разрабатывающих двуруких роботов, ловкие манипуляторы, системы обучения на основе имитации или модели VLA, такой подход с использованием носимых устройств может сделать демонстрации более интуитивно понятными для операторов и более информативными для машин, обучающихся на их основе.