Выпуск нового продукта: Agility A2 + ExoArm-7 для обучения роботов с помощью VLA-роботов.

Сбор высококачественных данных для обучения роботов зачастую является медленным и сложным процессом.

Традиционные системы дистанционного управления могут требовать отдельных контроллеров, внешних устройств слежения, камер с ручной синхронизацией и специализированных программных конвейеров. Это увеличивает время настройки и затрудняет получение стабильных демонстрационных данных для обучения ИИ.

Комплект Agility A2 + ExoArm-7 VLA Suite объединяет эти элементы в одной предварительно сконфигурированной платформе.

Операторы надевают экзоскелет ExoArm-7 и управляют роботом посредством естественных движений руки. Система захватывает синхронизированные движения человека, информацию о состоянии робота, визуальные данные RGB-D и облака точек, создавая более богатый набор данных для обучения на основе имитации и тренировки роботов с использованием VLA.

Вместо того чтобы создавать рабочий процесс сбора данных с нуля, команды могут сосредоточиться на самой задаче: захвате, сортировке, вставке, сборке, транспортировке и других реальных сценариях манипулирования.

Носимый экзоскелет ExoArm-7 разработан для более естественного и интуитивно понятного управления обеими руками.

Благодаря 14 степеням свободы и задержке захвата движений менее 20 мс, носимая система в режиме реального времени сопоставляет движения руки оператора с двуручным роботом Agility A2. Это делает дистанционное управление более похожим на непосредственную демонстрацию задачи, чем на управление роботом через традиционный удаленный интерфейс.

Для исследователей это означает, что данные о демонстрациях, проводимых людьми, можно собирать с большей непрерывностью и точностью.

В контексте рабочих процессов обучения роботов это означает, что робот может фиксировать не только визуальную информацию, но и модели движений, лежащие в основе каждого действия: как приближается к объекту, как координируются движения манипуляторов, как регулируется захват и как выполняется задача.

Эти высококачественные демонстрации могут затем использоваться для обучения на основе имитации, обучения стратегиям, экспериментов по обучению с подкреплением и генерации наборов данных VLA.

В основе комплекса лежит двурукий робот Agility A2, оснащенный двумя роботизированными манипуляторами с 7 степенями свободы для выполнения манипуляций двумя руками, имитирующих движения человека.

Каждая манипуляторная рука поддерживает номинальную полезную нагрузку в 5 кг и максимальную полезную нагрузку до 12 кг, что позволяет платформе справляться с широким спектром исследовательских и проверочных задач. От захвата и перемещения до сборки, установки, обработки и скоординированных операций с участием двух манипуляторов, система разработана для практических исследований в области манипулирования, а не только для демонстрации отдельных задач.

Двуручная конструкция особенно полезна для задач, требующих координации движений обеих рук, например, для стабилизации объекта одной рукой и управления им другой.

Благодаря этому платформа хорошо подходит для изучения того, как роботы могут осваивать сложные навыки манипулирования на основе демонстраций, проводимых людьми.

Для обучения роботов требуется нечто большее, чем просто данные о движении.

В состав комплекта Agility A2 + ExoArm-7 VLA входит головная камера Intel D435 и две наручные камеры Intel D405, интегрированные с захватными устройствами. Вместе эти камеры обеспечивают синхронизированные данные RGB-D и информацию о точечном облаке как с общего обзора, так и с близкого расстояния.

Головная камера фиксирует более широкое рабочее пространство, а наручные камеры отслеживают важные взаимодействия вблизи захватных устройств.

Такой подход с использованием нескольких камер помогает создавать более полные наборы данных для визуального восприятия, понимания объектов, планирования захвата и обучения действиям. Он также предоставляет исследователям большую гибкость при изучении того, как стратегии роботов реагируют на изменение положения объектов, компоновку рабочего пространства и условия манипуляции.

Да. Платформа разработана как комплексный рабочий процесс, воплощающий искусственный интеллект, а не просто как устройство для дистанционного управления.

Этот пакет программ, работающий на основе открытой платформы LeRobot, поддерживает захват демонстрационных примеров с участием человека, синхронизированный сбор данных, генерацию наборов данных, рабочие процессы обучения, вывод результатов моделирования и автономное выполнение задач.

Система поставляется с предварительно настроенной программной средой OpenarmX-LeRobotVLA, что позволяет командам начать разработку с меньшими затратами на интеграцию.

Поддержка вывода ACT включена по умолчанию. При использовании более производительных конфигураций контроллера платформа также поддерживает расширенные модели VLA, включая SmoLVLA, Pi0, Pi0.5 и XVLA.

Это предоставляет исследователям практическую среду для тестирования различных подходов к обучению, сравнения стратегий и проверки того, может ли модель ИИ переноситься с собранных демонстраций на реальное выполнение задач роботом.

Комплект Agility A2 + ExoArm-7 VLA Suite разработан для команд, которым необходима гибкость в исследованиях, моделировании и развертывании.

Она поддерживает широкую экосистему развития робототехники, включая:

ROS2 и ROS2-контроль

NVIDIA Исаак Сим

MuJoCo

Планирование движений MoveIt

Моделирование роботов URDF

Разработка на Python и C++

Обратная кинематика и оптимизация траектории

Благодаря компенсации силы тяжести, связи по протоколу CANFD, высокоскоростному расширению USB и выделенной рабочей станции управления, система обеспечивает стабильную основу для синхронизированных датчиков, управления в реальном времени и повторяемых экспериментов по движению.

Стандартная рабочая станция оснащена процессором AMD Ryzen 9 Pro, 16 ГБ оперативной памяти и твердотельным накопителем объемом 1 ТБ, а для более ресурсоемких задач, требующих использования VLA-чипов, доступны более мощные конфигурации.

Комплект Agility A2 + ExoArm-7 VLA идеально подходит для:

Университеты и образовательные программы в области робототехники

Лаборатории воплощенного искусственного интеллекта и робототехнического обучения

Исследователи в области ИИ создают наборы данных для имитационного обучения или VLA.

Научно-исследовательские группы промышленных предприятий проверяют эффективность рабочих процессов манипуляций.

Стартапы в области робототехники разрабатывают быстрые демонстрации концепции.

Команды изучают возможности обучения роботов на основе моделирования и реальных ситуаций.

Независимо от того, является ли целью сбор демонстрационных данных, обучение манипуляциям двумя руками, оценка новых стратегий или быстрая проверка концепции обучения роботов, система предлагает интегрированный путь от движений человека к автономному выполнению.

Для разработки воплощенного ИИ требуется нечто большее, чем просто мощная роботизированная рука. Необходим надежный способ сбора значимых демонстраций, сопоставления визуального восприятия с действиями, обучения моделей и проверки результатов в реальном мире.

Комплект Agility A2 + ExoArm-7 VLA объединяет эти важные этапы в одной носимой платформе для дистанционного управления двумя руками.

От захвата естественных движений человека до синхронизированного RGB-D зрения, от генерации наборов данных VLA до вывода результатов работы автономных роботов — эта технология призвана помочь командам разработчиков робототехники сократить время интеграции и ускорить эксперименты.

Превратите демонстрацию человеком в возможности робота — с помощью комплекта Agility A2 + ExoArm-7 VLA Suite.