Wie können Forschungsteams natürlichere Daten von beiden Armen und Händen für das Roboterlernen sammeln?

Verkörperte KI-Systeme lernen durch Interaktion. Um einem Roboter beizubringen, wie man Gegenstände aufnimmt, platziert, montiert, sortiert oder Werkzeuge benutzt, benötigen Forscher Demonstrationsdaten, die nicht nur das Endergebnis, sondern auch die Abfolge der Bewegungen beschreiben, die zu diesem Ergebnis geführt haben.

Dies stellt insbesondere bei der Steuerung von zwei Armen und feinmotorischen Manipulationen eine Herausforderung dar. Der Bediener muss beide Arme koordinieren, die Gelenkpositionen kontinuierlich anpassen und oft gleichzeitig einzelne Finger steuern. Herkömmliche Steuerungen können zwar einen Roboter bedienen, erfordern aber unter Umständen, dass der Benutzer natürliche menschliche Bewegungen in Tasten, Joysticks oder separate Befehle umsetzt. Videoaufnahmen können zwar das Geschehen aufzeichnen, liefern aber keine vollständigen Bewegungsdaten auf Gelenkebene.

Das tragbare Exoskelett ExoArm-7 Pro wurde entwickelt, um diese Lücke zu schließen, indem es menschliche Armbewegungen direkt erfasst und in hochfrequente Daten für die Roboterfernsteuerung, das Imitationslernen, die verkörperte KI und die VLA-Entwicklung umwandelt.

Warum ist es schwierig, Daten zur beidhändigen Demonstration zu erheben?

Schon bei einarmigen Aufgaben spielen Position, Orientierung, Timing und Kontakt eine Rolle. Bei zwei Armen wird die Datenerfassung komplexer, da beide Seiten während der gesamten Aufgabe koordiniert bleiben müssen.

Betrachten wir einige gängige Beispiele:

• Eine Hand hält einen Behälter, während die andere ihn öffnet.
• Zwei Arme heben oder positionieren gemeinsam einen großen Gegenstand.
• Eine Hand stabilisiert ein Bauteil, während die andere ein Werkzeug benutzt.
• Ein Gegenstand wird von einer Hand in die andere Hand übertragen.
• Beide Hände ordnen oder falten einen flexiblen Gegenstand

Damit diese Demonstrationen sinnvoll sind, muss das System subtile Gelenkbewegungen mit geringer Verzögerung erfassen. Es muss zudem so komfortabel sein, dass die Bediener eine Aufgabe viele Male wiederholen können, ohne dass das tragbare Gerät ihre natürliche Bewegung wesentlich beeinträchtigt.

Wie erfasst der ExoArm-7 Pro die Bewegungen des menschlichen Arms?

ExoArm-7 Pro nutzt eine 14-DOF-Doppelarmkonfiguration mit jeweils sieben passiven Gelenken. Bei Bewegungen des Trägers folgt die tragbare Struktur der Bewegung und erfasst die entsprechenden Gelenkpositionen.

Jedes Gelenk nutzt ein eigens entwickeltes Encodermodul, während 14-Bit-Gelenkdaten eine präzise Positionsrückmeldung ermöglichen. Dadurch kann das System kleine Winkeländerungen erkennen, anstatt nur grobe Bewegungen aufzuzeichnen.

Bei einem Teleoperations-Workflow können die erfassten Positionen einem Roboterarm zugeordnet werden, sodass der Roboter den Bewegungen des Bedieners folgt. Bei einem Lern-Workflow können dieselben Bewegungsinformationen Teil eines strukturierten Datensatzes für menschliche Demonstrationen werden.

Kann es schnell genug reagieren, um eine Echtzeit-Fernsteuerung zu ermöglichen?

Reaktionsfähigkeit ist unerlässlich, wenn ein Bediener die Bewegung eines Roboters während der Interaktion mit einem Objekt korrigieren muss. Treffen die Daten zu langsam ein, kann sich der Roboter vom Bediener entfremdet fühlen, und präzise Manipulationen werden schwieriger zu steuern.

ExoArm-7 Pro unterstützt Abtastraten von bis zu 1000 Hz sowie eine latenzarme Steuerung im Millisekundenbereich. Dieser hochfrequente Datenstrom trägt dazu bei, schnelle Änderungen der Armposition zu erfassen und ermöglicht eine reaktionsschnellere Mensch-Roboter-Bewegungsübertragung.

Die Dual-IMU-Sensorik erfasst zusätzlich zu den Gelenk-Encodern Bewegungs- und Orientierungsinformationen. Das Standardsystem umfasst sowohl eine rückseitig angebrachte als auch eine externe IMU und liefert so zusätzliche Daten zur Interpretation der Bewegungen und der Orientierung des Bedieners.

Wird ein tragbares Exoskelett den Träger einschränken?

Ein Motion-Capture-System sollte dem Benutzer folgen, ohne dabei selbst zum Mittelpunkt der Aufgabe zu werden. Ist es zu schwer oder unbequem, kann der Bediener seine Körperhaltung verändern, Bewegungen verkürzen oder bei wiederholten Demonstrationen weniger präzise arbeiten.

Der ExoArm-7 Pro wiegt 2,6 kg und zeichnet sich durch seine leichte, ergonomische Bauweise aus. Jedes Encoder-Gelenkmodul wiegt weniger als 70 g und trägt ein Drehmoment von bis zu 10 Nm. Dank einstellbarer mechanischer Begrenzungen lassen sich die Gelenkmodule optimal an die Anforderungen des Wearables und den jeweiligen Betrieb anpassen.

Diese Konstruktion macht das System praktischer für wiederholte Datenerfassungssitzungen in Laboren, Forschungszentren und Entwicklungsumgebungen für Robotik.

Was, wenn die Aufgabe eine Manipulation auf Fingerhöhe erfordert?

Die Armbewegungen können einen Roboter zwar zu einem Objekt führen, beschreiben aber nicht, wie die Finger einen Griff formen oder ein Werkzeug manipulieren. Aufgaben, die feinmotorische Hände erfordern, benötigen daher eine weitere Ebene von Bewegungsdaten.

ExoArm-7 Pro kann mit den optionalen Teleoperations-Datenhandschuhen ExoGlove Pro kombiniert werden. Die Handschuhe nutzen fünf VetraSense-Sensoren, um eine vollständige 25DOF-Handpose zu rekonstruieren. Dadurch wird die Anzahl der benötigten Sensoren reduziert, während gleichzeitig detaillierte Fingerbewegungsinformationen erhalten bleiben.

Jede Fingerspitze unterstützt 6DOF-Tracking, wodurch das System sowohl Position als auch Orientierung erfassen kann. Zusätzlich kann ein anpassbares Vibrationsfeedback genutzt werden, um dem Bediener während der Fernsteuerung Interaktionshinweise zu geben.

ExoGlove Pro gibt Daten mit bis zu 180 Hz aus und unterstützt kabelgebundene Latenzzeiten unter 10 ms. Das SDK und die Motion-Retargeting-Algorithmen helfen dabei, menschliche Handposen auf verschiedene Plattformen für feinmotorische Hände und Roboter zu übertragen.

Die Handschuhe sind besonders relevant für Datensätze, die Folgendes beinhalten:

• Präzisionsgreifen
• Werkzeugbetrieb
• Komponentenmontage
• Objektrotation und -neuausrichtung
• Manipulation flexibler Objekte
• Koordinierte Arm-, Hand- und Fingerbewegungen

ExoGlove Pro ist separat erhältlich und nicht im Standardpaket ExoArm-7 Pro enthalten. Teams, die lediglich Daten auf Armebene benötigen, können das Standardsystem verwenden, während Projekte, die feinmotorische Manipulationen erfordern, die Handschuhe als Erweiterung hinzufügen können.

Wie lässt sich das System in eine bestehende Roboterplattform integrieren?

Teams, die Roboterlernprozesse durchführen, verwenden selten identische Hardware- und Software-Stacks. Ein Labor arbeitet möglicherweise mit einem Forschungsarm, ein anderes mit einem mobilen Zweiarmroboter und ein weiteres mit einer speziell angefertigten, feinmotorischen Hand.

ExoArm-7 Pro umfasst ein offizielles SDK und kostenlose Integrationsunterstützung, um Entwicklern die Anbindung der erfassten Daten an ihre eigenen Plattformen zu erleichtern. Die visuelle Softwareoberfläche unterstützt Windows, macOS und Linux.

Individuell anpassbare Bedienelemente und ein optionaler Handschuhadapter bieten zusätzliche Flexibilität für verschiedene Bedienungsmethoden. Bei handbasierten Anwendungen helfen die Unterstützung mehrerer Plattformen im SDK und Bewegungs-Retargeting-Algorithmen dabei, die menschlichen Bewegungsdaten an Roboter mit unterschiedlichen Gelenkstrukturen anzupassen.

Dies bedeutet, dass Teams ExoArm-7 Pro als Teil einer umfassenderen Teleoperations- und Datenpipeline betrachten können und nicht als ein geschlossenes System, das an einen einzelnen Roboter gebunden ist.

Wo können die gesammelten Daten verwendet werden?

Derselbe tragbare Workflow kann mehrere Phasen der Robotikentwicklung unterstützen.

Echtzeit-Roboterfernsteuerung

Ein Bediener kann zwei Roboterarme durch natürliche Oberarmbewegungen steuern, wodurch die Abhängigkeit von separaten Joystick-Befehlen für jedes Gelenk reduziert wird.

Sammlung menschlicher Demonstrationen

Forscher können aufzeichnen, wie eine Person eine Aufgabe ausführt, einschließlich des Timings und der Koordination beider Arme.

Imitationslernen

Wiederholte Demonstrationen können zu Datensätzen organisiert werden, die einem Roboter helfen, Manipulationsstrategien anhand menschlicher Beispiele zu erlernen.

VLA-Datensatzentwicklung

Arm- und optional Handbewegungsdaten können mit anderen Sensoreingaben und Aufgabenanweisungen im Rahmen einer Bild-Sprache-Aktions-Forschungspipeline kombiniert werden.

Robotik-Ausbildung

Universitäten und Labore können das System nutzen, um Bewegungsumorientierung, Mensch-Roboter-Interaktion, Teleoperation und verkörperte Intelligenz innerhalb einer einzigen Entwicklungsplattform zu untersuchen.

Die richtige Konfiguration auswählen

Das Standardpaket ExoArm-7 Pro umfasst das tragbare Exoskelett, einen am Rücken montierten IMU-Sensor und einen externen IMU-Sensor. Diese Konfiguration eignet sich für Teams, die sich auf die Bewegungserfassung beider Arme, die Teleoperation von Roboterarmen und die Demonstration von Oberarmbewegungen konzentrieren.

Für Projekte, die detaillierte Greifbewegungen und Fingerbahnen erfordern, kann das optionale ExoGlove Pro-Paket hinzugefügt werden, das zwei Motion-Capture-Handschuhe, einen drahtlosen Empfänger und ein Batteriemodul sowie zwei USB-C-Datenkabel umfasst.

Die Wahl zwischen den beiden Konfigurationen hängt von der erforderlichen Aktionsauflösung ab. Aufgaben auf Armebene benötigen möglicherweise keine Handschuhdaten, während feinmotorische Manipulationen und vollständige Arm-Hand-Demonstrationen von der gemeinsamen Erfassung beider Ebenen profitieren.

Natürliche menschliche Handlungen in strukturierte Trainingsdaten umwandeln

Die zentrale Herausforderung bei verkörperter KI besteht nicht einfach darin, mehr Daten zu sammeln. Vielmehr geht es darum, Daten zu sammeln, die präzise abbilden, wie Menschen nützliche physische Aufgaben ausführen.

Durch die Kombination von 14DOF Dual-Arm-Tracking, hochauflösendem Encoder-Feedback, Abtastraten bis zu 1000 Hz, Dual-IMU-Sensorik und optionaler 25DOF Handpose-Erfassung bietet ExoArm-7 Pro einen praktischen Weg von natürlichen menschlichen Bewegungen zu strukturierten Teleoperations- und Roboterlerndaten.

Für Teams, die Zweiarmroboter, geschickte Manipulatoren, Imitationslernsysteme oder VLA-Modelle bauen, kann dieser tragbare Ansatz Demonstrationen intuitiver für die Bediener und informativer für die Maschinen machen, die von ihnen lernen.