Comment les équipes de recherche peuvent-elles collecter davantage de données naturelles sur les mouvements des deux bras et des mains pour l'apprentissage robotique ?

Les systèmes d'IA incarnée apprennent par l'interaction. Pour enseigner à un robot comment saisir, placer, assembler, trier ou utiliser des outils, les chercheurs ont besoin de données de démonstration décrivant non seulement le résultat final, mais aussi la séquence de mouvements qui l'a produit.

Cela devient particulièrement complexe lors de manipulations à deux bras et nécessitant une grande dextérité. L'opérateur doit coordonner ses deux bras, ajuster en permanence la position des articulations et souvent contrôler simultanément chaque doigt. Les commandes classiques permettent de piloter un robot, mais elles peuvent contraindre l'utilisateur à traduire un mouvement humain naturel en boutons, joysticks ou commandes distinctes. La vidéo peut enregistrer l'action, mais elle ne fournit pas directement de données complètes sur le mouvement des articulations.

L'exosquelette portable ExoArm-7 Pro est conçu pour combler cette lacune en capturant directement les mouvements du bras humain et en les transformant en données haute fréquence pour la téléopération robotique, l'apprentissage par imitation, l'IA incarnée et le développement de l'IA virtuelle.

Pourquoi est-il difficile de recueillir des données de démonstration bimanuelle ?

Les tâches à un seul bras impliquent déjà la position, l'orientation, le rythme et le contact. Avec deux bras, le problème de la collecte de données se complexifie car les deux côtés doivent rester coordonnés tout au long de la tâche.

Prenons quelques exemples courants :

• Une main tient un récipient tandis que l'autre l'ouvre.
• Deux bras soulèvent ou déplacent simultanément un objet volumineux.
• Une main stabilise un composant tandis que l'autre utilise un outil
• Un objet est transféré d'une main à l'autre
• Les deux mains manipulent ou plient un objet souple

Pour que ces démonstrations soient utiles, le système doit capter les variations articulaires les plus subtiles avec un minimum de latence. Il doit également rester suffisamment confortable pour permettre aux opérateurs de répéter une tâche à de nombreuses reprises sans que le dispositif portable ne modifie sensiblement leurs mouvements naturels.

Comment ExoArm-7 Pro capture-t-il les mouvements du bras humain ?

ExoArm-7 Pro utilise une configuration à deux bras à 14 degrés de liberté, composée de sept articulations passives sur chaque bras. Lorsque l'opérateur se déplace, la structure portable suit ses mouvements et enregistre les positions articulaires correspondantes.

Chaque articulation utilise un module d'encodage développé en interne, tandis que les données articulaires 14 bits fournissent un retour d'information précis sur la position. Cela permet au système de détecter de petits changements angulaires au lieu de se limiter à l'enregistrement de grands mouvements.

Dans le cadre d'un processus de téléopération, les positions enregistrées peuvent être associées à un bras robotisé afin que ce dernier suive les mouvements de l'opérateur. Dans le cadre d'un processus d'apprentissage, ces mêmes données de mouvement peuvent être intégrées à un ensemble de données structurées pour la démonstration humaine.

Peut-il répondre suffisamment rapidement pour une téléopération en temps réel ?

La réactivité est essentielle lorsqu'un opérateur doit corriger les mouvements d'un robot interagissant avec un objet. Si les données arrivent trop lentement, le robot risque d'être déconnecté de l'opérateur et les manipulations fines deviennent plus difficiles à contrôler.

ExoArm-7 Pro prend en charge des fréquences d'échantillonnage jusqu'à 1 000 Hz et un contrôle à très faible latence (de l'ordre de la milliseconde). Ce flux de données haute fréquence permet de préserver les changements rapides de position du bras et d'assurer une cartographie des mouvements humain-robot plus réactive.

La double centrale inertielle (IMU) fournit des informations de mouvement et d'orientation complémentaires à celles des codeurs articulaires. Le système standard comprend une centrale inertielle dorsale et une centrale inertielle externe, offrant ainsi des données supplémentaires pour l'interprétation des mouvements et de l'orientation de l'opérateur.

Un exosquelette portable limitera-t-il les mouvements de l'opérateur ?

Un système de capture de mouvement doit suivre l'utilisateur sans pour autant devenir l'objet de sa tâche. S'il est trop lourd ou inconfortable, l'opérateur risque de modifier sa posture, de raccourcir ses mouvements ou de perdre en constance lors de démonstrations répétées.

L'ExoArm-7 Pro pèse 2,6 kg et bénéficie d'une structure ergonomique légère. Chaque module d'articulation à codeur pèse moins de 70 g tout en supportant un couple de serrage jusqu'à 10 N·m. Des butées mécaniques réglables permettent d'adapter les modules d'articulation à la structure portable et aux exigences d'utilisation.

Cette conception rend le système plus pratique pour les sessions de collecte de données répétées dans les laboratoires, les centres de recherche et les environnements de développement robotique.

Que se passe-t-il si la tâche nécessite une manipulation au niveau des doigts ?

Les trajectoires des bras peuvent guider un robot vers un objet, mais elles ne décrivent pas comment les doigts effectuent une préhension ou manipulent un outil. Les tâches nécessitant une grande dextérité manuelle requièrent donc une couche supplémentaire de données de mouvement.

L'ExoArm-7 Pro peut être associé aux gants de téléopération ExoGlove Pro (en option). Ces gants utilisent cinq capteurs VetraSense pour reconstituer une pose complète de la main à 25 degrés de liberté, réduisant ainsi le nombre de capteurs nécessaires tout en préservant la précision des mouvements des doigts.

Chaque doigt est doté d'un système de suivi à 6 degrés de liberté, permettant au système d'enregistrer à la fois la position et l'orientation. Un retour haptique réglable peut également être utilisé pour fournir à l'opérateur des indications d'interaction pendant la téléopération.

ExoGlove Pro transmet des données jusqu'à 180 Hz et prend en charge une latence filaire inférieure à 10 ms. Son SDK et ses algorithmes de reciblage de mouvement permettent de traduire les poses de la main humaine vers de multiples plateformes robotiques et de manipulation manuelle.

Ces gants sont particulièrement pertinents pour les ensembles de données impliquant :

• préhension de précision
• Fonctionnement de l'outil
• Assemblage des composants
• Rotation et réorientation d'objets
• manipulation d'objets flexibles
• Mouvement coordonné du bras, de la main et des doigts

Les gants ExoGlove Pro sont vendus séparément et ne sont pas inclus dans le pack standard ExoArm-7 Pro. Les équipes qui n'ont besoin que de données au niveau du bras peuvent utiliser le système standard, tandis que les projets nécessitant une manipulation fine peuvent ajouter les gants en option.

Comment le système peut-il s'adapter à une plateforme robotique existante ?

Les équipes de robotique utilisent rarement des configurations matérielles et logicielles identiques. Un laboratoire peut travailler avec un bras robotique de recherche, un autre avec un robot mobile à deux bras, et un autre encore avec une main articulée sur mesure.

ExoArm-7 Pro inclut un kit de développement logiciel (SDK) officiel et une assistance à l'intégration gratuite permettant aux développeurs de connecter les données capturées à leurs propres plateformes. L'interface logicielle visuelle est compatible avec Windows, macOS et Linux.

Des poignées de commande personnalisées et un adaptateur pour gants (en option) offrent une plus grande flexibilité pour différentes méthodes d'utilisation. Pour les applications manuelles, la prise en charge d'un SDK multiplateforme et des algorithmes de réadaptation des mouvements permettent d'adapter les données de mouvement humain aux robots dotés de structures articulaires différentes.

Cela signifie que les équipes peuvent considérer ExoArm-7 Pro comme faisant partie d'un système de téléopération et de traitement de données plus large, plutôt que comme un système fermé lié à un seul robot.

Où les données collectées peuvent-elles être utilisées ?

Ce même flux de travail portable peut prendre en charge plusieurs étapes du développement robotique.

Téléopération robotique en temps réel

Un opérateur peut contrôler deux bras robotisés grâce aux mouvements naturels des membres supérieurs, réduisant ainsi la dépendance à des commandes de joystick distinctes pour chaque articulation.

Collection de démonstrations humaines

Les chercheurs peuvent enregistrer la manière dont une personne effectue une tâche, notamment le rythme et la coordination entre les deux bras.

Apprentissage par imitation

Les démonstrations répétées peuvent être organisées en ensembles de données qui aident un robot à apprendre des stratégies de manipulation à partir d'exemples humains.

Développement de l'ensemble de données VLA

Les données relatives aux mouvements du bras et, éventuellement, de la main, peuvent être combinées avec d'autres entrées de capteurs et des instructions de tâche dans le cadre d'un pipeline de recherche Vision-Langage-Action.

Éducation à la robotique

Les universités et les laboratoires peuvent utiliser ce système pour étudier le reciblage de mouvement, l'interaction homme-robot, la téléopération et l'intelligence incarnée au sein d'une seule plateforme de développement.

Choisir la bonne configuration

Le pack standard ExoArm-7 Pro comprend l'exosquelette portable, un capteur IMU dorsal et un capteur IMU externe. Cette configuration convient aux équipes travaillant sur la capture de mouvement des deux bras, la téléopération de bras robotisés et la démonstration de données des membres supérieurs.

Les projets nécessitant une préhension précise et des trajectoires digitales exactes peuvent être complétés par le pack optionnel ExoGlove Pro, qui comprend deux gants de capture de mouvement, un récepteur sans fil et un module de batterie, ainsi que deux câbles de données USB-C.

Le choix entre les deux configurations dépend de la résolution d'action requise. Les tâches au niveau du bras peuvent ne pas nécessiter de données relatives aux gants, tandis que la manipulation fine et les démonstrations complètes du bras à la main bénéficient de la capture simultanée des deux couches.

Transformer l'action humaine naturelle en données d'entraînement structurées

Le principal défi de l'IA incarnée n'est pas simplement de collecter davantage de données. Il s'agit de collecter des données qui représentent fidèlement la manière dont les personnes accomplissent des tâches physiques utiles.

En combinant un suivi à deux bras à 14 degrés de liberté, un retour d'information d'encodeur haute résolution, des taux d'échantillonnage jusqu'à 1000 Hz, une détection à double IMU et une capture de pose de main optionnelle à 25 degrés de liberté, l'ExoArm-7 Pro offre un chemin pratique du mouvement humain naturel aux données structurées de téléopération et d'apprentissage robotique.

Pour les équipes qui conçoivent des robots à deux bras, des manipulateurs dextres, des systèmes d'apprentissage par imitation ou des modèles VLA, cette approche portable peut rendre les démonstrations plus intuitives pour les opérateurs et plus informatives pour les machines qui apprennent d'elles.