Come possono i team di ricerca raccogliere dati più naturali sull'utilizzo di braccia e mani separate per l'apprendimento robotico?

I sistemi di intelligenza artificiale incarnata apprendono dall'interazione. Per insegnare a un robot come raccogliere, posizionare, assemblare, ordinare o utilizzare strumenti, i ricercatori hanno bisogno di dati dimostrativi che descrivano non solo il risultato finale, ma anche la sequenza di movimenti che lo hanno prodotto.

Questo diventa particolarmente impegnativo nella manipolazione a due braccia e che richiede destrezza. L'operatore deve coordinare due braccia, regolare continuamente la posizione delle articolazioni e spesso controllare contemporaneamente le singole dita. I controller convenzionali possono azionare un robot, ma potrebbero richiedere all'utente di tradurre un'azione umana naturale in pulsanti, joystick o comandi separati. Il video può registrare ciò che accade, ma non fornisce direttamente dati completi sul movimento a livello delle articolazioni.

L'esoscheletro indossabile ExoArm-7 Pro è progettato per colmare questa lacuna, catturando direttamente i movimenti del braccio umano e trasformandoli in dati ad alta frequenza per la teleoperazione robotica, l'apprendimento per imitazione, l'intelligenza artificiale incarnata e lo sviluppo di VLA (Visual Laser Amplification).

Perché è difficile raccogliere dati sulle dimostrazioni bimanuali?

Le attività che coinvolgono un solo braccio implicano già posizione, orientamento, tempistica e contatto. Con due braccia, il problema della raccolta dati diventa più complesso perché entrambi i lati devono rimanere coordinati per tutta la durata dell'attività.

Consideriamo alcuni esempi comuni:

• Una mano tiene un contenitore mentre l'altra lo apre
• Due braccia sollevano o riposizionano insieme un oggetto di grandi dimensioni.
• Una mano stabilizza un componente mentre l'altra utilizza un utensile
• Un oggetto viene trasferito da una mano all'altra
• Entrambe le mani organizzano o piegano un oggetto flessibile

Affinché queste dimostrazioni siano utili, il sistema deve rilevare sottili cambiamenti articolari con un basso ritardo. Inoltre, deve rimanere sufficientemente comodo da permettere agli operatori di ripetere un'attività molte volte senza che il dispositivo indossabile alteri in modo significativo i loro movimenti naturali.

Come fa ExoArm-7 Pro a catturare il movimento del braccio umano?

ExoArm-7 Pro utilizza una configurazione a doppio braccio con 14 gradi di libertà (DOF), composta da sette giunti passivi su ciascun braccio. Quando l'operatore si muove, la struttura indossabile segue il movimento e registra le posizioni dei giunti corrispondenti.

Ogni articolazione utilizza un modulo encoder sviluppato internamente, mentre i dati a 14 bit relativi a ciascuna articolazione forniscono un feedback preciso sulla posizione. Ciò consente al sistema di rilevare piccole variazioni angolari anziché registrare solo movimenti ampi.

In un flusso di lavoro di teleoperazione, le posizioni acquisite possono essere mappate su un braccio robotico in modo che il robot segua i movimenti dell'operatore. In un flusso di lavoro di apprendimento, le stesse informazioni sul movimento possono diventare parte di un set di dati strutturato di dimostrazioni umane.

È in grado di rispondere abbastanza velocemente per la teleoperazione in tempo reale?

La reattività è essenziale quando un operatore deve correggere il movimento di un robot durante l'interazione con un oggetto. Se i dati arrivano troppo lentamente, il robot potrebbe sentirsi scollegato dall'operatore e le manipolazioni di precisione diventerebbero più difficili da controllare.

ExoArm-7 Pro supporta frequenze di campionamento fino a 1000 Hz, unitamente a un controllo a bassa latenza dell'ordine dei millisecondi. Questo flusso di dati ad alta frequenza contribuisce a preservare i rapidi cambiamenti di posizione del braccio e supporta una mappatura del movimento uomo-robot più reattiva.

Il sistema di rilevamento Dual-IMU aggiunge informazioni su movimento e orientamento rispetto agli encoder articolari. Il sistema standard include sia un'IMU montata posteriormente che un'IMU esterna, fornendo dati aggiuntivi per interpretare il movimento e l'orientamento dell'operatore.

Un esoscheletro indossabile limiterà i movimenti dell'operatore?

Un sistema di motion capture dovrebbe seguire l'utente senza diventare il fulcro dell'attività. Se è troppo pesante o scomodo, l'operatore potrebbe cambiare postura, accorciare i movimenti o essere meno costante durante le dimostrazioni ripetute.

ExoArm-7 Pro pesa 2,6 kg e utilizza una struttura ergonomica leggera. Ogni modulo articolato con encoder pesa meno di 70 g e supporta una coppia di carico fino a 10 N·m. I limiti meccanici regolabili consentono di configurare i moduli articolari in base alla struttura indossabile e ai requisiti operativi.

Questa progettazione rende il sistema più pratico per sessioni ripetute di raccolta dati in laboratori, centri di ricerca e ambienti di sviluppo robotico.

E se il compito richiedesse la manipolazione a livello delle dita?

Le traiettorie delle braccia possono guidare un robot verso un oggetto, ma non descrivono come le dita modellano una presa o manipolano uno strumento. I compiti che richiedono destrezza manuale necessitano quindi di un ulteriore livello di dati sul movimento.

ExoArm-7 Pro può essere abbinato ai guanti per teleoperazione ExoGlove Pro, opzionali. I guanti utilizzano cinque sensori VetraSense per ricostruire una posizione completa della mano a 25 gradi di libertà, riducendo il numero di sensori necessari pur preservando informazioni dettagliate sul movimento delle dita.

Ciascun polpastrello supporta il tracciamento a 6 gradi di libertà (6DOF), consentendo al sistema di registrare sia la posizione che l'orientamento. È inoltre possibile utilizzare un feedback di vibrazione regolabile per fornire all'operatore indicazioni interattive durante la teleoperazione.

ExoGlove Pro trasmette dati fino a 180 Hz e supporta una latenza cablata inferiore a 10 ms. Il suo SDK e gli algoritmi di retargeting del movimento aiutano a tradurre le posizioni della mano umana in diverse piattaforme robotiche e per mani destre.

I guanti sono particolarmente utili per i set di dati che includono:

• Presa di precisione
• Funzionamento dell'utensile
• Assemblaggio dei componenti
• Rotazione e riorientamento degli oggetti
• Manipolazione flessibile degli oggetti
• Movimento coordinato di braccia, mani e dita

ExoGlove Pro è venduto separatamente e non è incluso nella confezione standard di ExoArm-7 Pro. I team che necessitano solo di dati a livello del braccio possono utilizzare il sistema standard, mentre i progetti che richiedono una manipolazione precisa possono aggiungere i guanti come espansione.

Come si può integrare il sistema in una piattaforma robotica esistente?

I team che si occupano di apprendimento robotico raramente utilizzano stack hardware e software identici. Un laboratorio può lavorare con un braccio robotico da ricerca, un altro con un robot mobile a doppio braccio e un altro ancora con una mano robotica personalizzata.

ExoArm-7 Pro include un SDK ufficiale e un supporto di integrazione gratuito per aiutare gli sviluppatori a connettere i dati acquisiti alle proprie piattaforme. L'interfaccia software visiva è compatibile con Windows, macOS e Linux.

Le impugnature di controllo personalizzate e un adattatore per guanti opzionale offrono ulteriore flessibilità per diversi metodi operativi. Per le applicazioni manuali, il supporto SDK multipiattaforma e gli algoritmi di riadattamento del movimento aiutano ad adattare i dati di movimento umano ai robot con diverse strutture articolari.

Ciò significa che i team possono considerare ExoArm-7 Pro come parte di una più ampia pipeline di teleoperazione e dati, anziché come un sistema chiuso legato a un singolo robot.

Dove possono essere utilizzati i dati raccolti?

Lo stesso flusso di lavoro per dispositivi indossabili può supportare diverse fasi dello sviluppo della robotica.

Teleoperazione robotica in tempo reale

Un operatore può controllare due bracci robotici contemporaneamente tramite movimenti naturali degli arti superiori, riducendo la necessità di utilizzare joystick separati per ogni articolazione.

Raccolta di dimostrazioni umane

I ricercatori possono registrare come una persona esegue un compito, compresi i tempi e il coordinamento tra entrambe le braccia.

Apprendimento per imitazione

Le dimostrazioni ripetute possono essere organizzate in set di dati che aiutano un robot ad apprendere le strategie di manipolazione dagli esempi umani.

Sviluppo del dataset VLA

I dati relativi al movimento del braccio e, facoltativamente, della mano, possono essere combinati con altri input provenienti da sensori e con le istruzioni relative alle attività, nell'ambito di un processo di ricerca che integra visione, linguaggio e azione.

Formazione in robotica

Università e laboratori possono utilizzare il sistema per studiare il retargeting del movimento, l'interazione uomo-robot, la teleoperazione e l'intelligenza incarnata all'interno di un'unica piattaforma di sviluppo.

Scegliere la configurazione giusta

Il pacchetto standard ExoArm-7 Pro include l'esoscheletro indossabile, un sensore IMU montato sulla schiena e un sensore IMU esterno. Questa configurazione è adatta a team specializzati in motion capture con entrambe le braccia, teleoperazione con bracci robotici e dati dimostrativi sugli arti superiori.

I progetti che richiedono una presa dettagliata e traiettorie precise delle dita possono includere il pacchetto opzionale ExoGlove Pro, che comprende due guanti per la cattura del movimento, un ricevitore wireless con modulo batteria e due cavi dati USB-C.

La scelta tra le due configurazioni dipende dalla risoluzione di movimento richiesta. Le attività a livello del braccio potrebbero non necessitare dei dati del guanto, mentre la manipolazione precisa e le dimostrazioni complete braccio-mano traggono vantaggio dall'acquisizione simultanea di entrambi i livelli.

Trasformare le azioni umane naturali in dati di addestramento strutturati

La sfida principale nell'ambito dell'intelligenza artificiale incarnata non consiste semplicemente nel raccogliere più dati, bensì nel raccogliere dati che rappresentino accuratamente il modo in cui le persone svolgono compiti fisici utili.

Grazie alla combinazione di tracciamento a doppio braccio a 14 gradi di libertà, feedback encoder ad alta risoluzione, frequenze di campionamento fino a 1000 Hz, rilevamento a doppia IMU e acquisizione opzionale della posizione della mano a 25 gradi di libertà, ExoArm-7 Pro offre un percorso pratico dal movimento umano naturale ai dati strutturati per la teleoperazione e l'apprendimento robotico.

Per i team che sviluppano robot a doppio braccio, manipolatori destri, sistemi di apprendimento per imitazione o modelli VLA, questo approccio indossabile può rendere le dimostrazioni più intuitive per gli operatori e più informative per le macchine che apprendono da esse.