Como as equipes de pesquisa podem coletar mais dados naturais de ambos os braços e mãos para o aprendizado de robôs?

Sistemas de IA incorporados aprendem com a interação. Para ensinar um robô a pegar, posicionar, montar, classificar ou usar ferramentas, os pesquisadores precisam de dados de demonstração que descrevam não apenas o resultado final, mas também a sequência de movimentos que o produziu.

Isso se torna especialmente desafiador em operações que exigem manipulação com dois braços e destreza. O operador precisa coordenar os dois braços, ajustar continuamente a posição das articulações e, frequentemente, controlar cada dedo individualmente ao mesmo tempo. Controladores convencionais podem operar um robô, mas podem exigir que o usuário traduza uma ação humana natural em botões, joysticks ou comandos separados. Vídeos podem registrar o que aconteceu, mas não fornecem diretamente dados completos de movimento em nível articular.

O exoesqueleto vestível ExoArm-7 Pro foi projetado para preencher essa lacuna, capturando diretamente os movimentos do braço humano e transformando-os em dados de alta frequência para teleoperação de robôs, aprendizado por imitação, IA incorporada e desenvolvimento de VLA (Aprendizagem Virtual em Tempo Real).

Por que é difícil coletar dados para demonstrações bimanual?

Tarefas com um único braço já envolvem posição, orientação, tempo e contato. Com dois braços, o problema da coleta de dados torna-se mais complexo porque ambos os lados devem permanecer coordenados durante toda a tarefa.

Considere alguns exemplos comuns:

• Uma mão segura um recipiente enquanto a outra o abre.
• Dois braços levantam ou reposicionam um objeto grande simultaneamente.
• Uma mão estabiliza um componente enquanto a outra utiliza uma ferramenta.
• Um objeto é transferido de uma mão para a outra.
• Ambas as mãos organizam ou dobram um item flexível.

Para que essas demonstrações sejam úteis, o sistema deve capturar mudanças articulares sutis com baixo atraso. Além disso, deve ser suficientemente confortável para que os operadores possam repetir uma tarefa várias vezes sem que o dispositivo vestível altere significativamente seus movimentos naturais.

Como o ExoArm-7 Pro captura os movimentos do braço humano?

O ExoArm-7 Pro utiliza uma configuração de braço duplo com 14 graus de liberdade, composta por sete articulações passivas em cada braço. Quando o operador se move, a estrutura vestível acompanha o movimento e registra as posições articulares correspondentes.

Cada articulação utiliza um módulo codificador desenvolvido internamente, enquanto os dados articulares de 14 bits fornecem feedback de posição preciso. Isso permite que o sistema detecte pequenas alterações angulares em vez de registrar apenas gestos amplos.

Em um fluxo de trabalho de teleoperação, as posições capturadas podem ser mapeadas para um braço robótico, permitindo que o robô siga os movimentos do operador. Em um fluxo de trabalho de aprendizado, as mesmas informações de movimento podem ser incorporadas a um conjunto de dados estruturado de demonstração humana.

Consegue responder com rapidez suficiente para teleoperação em tempo real?

A capacidade de resposta é essencial quando um operador precisa corrigir o movimento de um robô enquanto este interage com um objeto. Se os dados chegarem muito lentamente, o robô pode se sentir desconectado do operador e a manipulação precisa torna-se mais difícil de controlar.

O ExoArm-7 Pro suporta taxas de amostragem de até 1000 Hz, juntamente com controle de baixa latência em nível de milissegundos. Esse fluxo de dados de alta frequência ajuda a preservar mudanças rápidas na posição do braço e oferece suporte a um mapeamento de movimento humano-robô mais responsivo.

O sensor de IMU dupla adiciona informações de movimento e orientação além dos codificadores das juntas. O sistema padrão inclui uma IMU montada nas costas e uma IMU externa, fornecendo dados adicionais para interpretar o movimento e a orientação do operador.

Um exoesqueleto vestível restringirá o operador?

Um sistema de captura de movimento deve acompanhar o usuário sem se tornar o foco da tarefa. Se for muito pesado ou desconfortável, o operador pode mudar de postura, encurtar os movimentos ou tornar-se menos consistente durante demonstrações repetidas.

O ExoArm-7 Pro pesa 2,6 kg e utiliza uma estrutura ergonômica leve. Cada módulo de junta com encoder pesa menos de 70 g, suportando até 10 N·m de torque de carga. Limites mecânicos ajustáveis ​​permitem que os módulos de junta sejam configurados de acordo com a estrutura vestível e os requisitos operacionais.

Esse design torna o sistema mais prático para sessões repetidas de coleta de dados em laboratórios, centros de pesquisa e ambientes de desenvolvimento de robótica.

E se a tarefa exigir manipulação ao nível dos dedos?

As trajetórias dos braços podem guiar um robô em direção a um objeto, mas não descrevem como os dedos formam uma preensão ou manipulam uma ferramenta. Tarefas que envolvem mãos hábeis, portanto, requerem uma camada adicional de dados de movimento.

O ExoArm-7 Pro pode ser emparelhado com as luvas de teleoperação ExoGlove Pro (opcionais). As luvas utilizam cinco sensores VetraSense para reconstruir uma pose completa da mão com 25 graus de liberdade (25DOF), reduzindo o número de sensores necessários e preservando informações detalhadas sobre os movimentos dos dedos.

Cada ponta do dedo suporta rastreamento de 6 graus de liberdade (6DOF), permitindo que o sistema registre tanto a posição quanto a orientação. O feedback de vibração ajustável também pode ser usado para fornecer ao operador dicas de interação durante a teleoperação.

O ExoGlove Pro emite dados a até 180 Hz e suporta latência com fio inferior a 10 ms. Seu SDK e algoritmos de redirecionamento de movimento ajudam a traduzir as poses da mão humana para múltiplas plataformas robóticas e de mãos hábeis.

As luvas são particularmente relevantes para conjuntos de dados que envolvem:

• Preensão de precisão
• Operação da ferramenta
• Montagem de componentes
• Rotação e reorientação de objetos
• Manipulação de objetos flexíveis
• Movimentos coordenados dos braços, mãos e dedos

O ExoGlove Pro é vendido separadamente e não está incluído no pacote padrão do ExoArm-7 Pro. Equipes que necessitam apenas de dados em nível de braço podem usar o sistema padrão, enquanto projetos que envolvem manipulação precisa podem adicionar as luvas como um complemento.

Como o sistema pode ser adaptado a uma plataforma robótica existente?

As equipes de aprendizado de robôs raramente usam conjuntos de hardware e software idênticos. Um laboratório pode trabalhar com um braço de pesquisa, outro com um robô móvel de dois braços e outro com uma mão dextra personalizada.

O ExoArm-7 Pro inclui um SDK oficial e suporte de integração gratuito para ajudar os desenvolvedores a conectar os dados capturados às suas próprias plataformas. A interface visual do software é compatível com Windows, macOS e Linux.

Alças de controle personalizadas e um adaptador opcional para luvas oferecem flexibilidade adicional para diferentes métodos de operação. Para aplicações que envolvem as mãos, o suporte a SDKs multiplataforma e algoritmos de redirecionamento de movimento ajudam a adaptar os dados de movimento humano a robôs com diferentes estruturas articulares.

Isso significa que as equipes podem tratar o ExoArm-7 Pro como parte de um sistema de teleoperação e fluxo de dados mais amplo, em vez de um sistema fechado vinculado a um único robô.

Onde os dados coletados podem ser usados?

O mesmo fluxo de trabalho com dispositivos vestíveis pode dar suporte a várias etapas do desenvolvimento de robótica.

Teleoperação de robôs em tempo real

Um operador pode controlar dois braços robóticos através de movimentos naturais dos membros superiores, reduzindo a dependência de comandos de joystick separados para cada articulação.

Coleção de Demonstração Humana

Os pesquisadores podem registrar como uma pessoa realiza uma tarefa, incluindo o tempo e a coordenação entre os dois braços.

Aprendizagem por imitação

Demonstrações repetidas podem ser organizadas em conjuntos de dados que ajudam um robô a aprender políticas de manipulação a partir de exemplos humanos.

Desenvolvimento do conjunto de dados VLA

Os dados de movimento do braço e, opcionalmente, da mão, podem ser combinados com outras entradas de sensores e instruções de tarefas como parte de um processo de pesquisa de Visão-Linguagem-Ação.

Educação em Robótica

Universidades e laboratórios podem usar o sistema para estudar redirecionamento de movimento, interação humano-robô, teleoperação e inteligência incorporada em uma única plataforma de desenvolvimento.

Escolhendo a configuração correta

O pacote padrão ExoArm-7 Pro inclui o exoesqueleto vestível, um sensor IMU montado nas costas e um sensor IMU externo. Essa configuração é adequada para equipes focadas em captura de movimento de ambos os braços, teleoperação de braços robóticos e dados de demonstração de membros superiores.

Projetos que exigem preensão detalhada e trajetórias dos dedos precisas podem adicionar o pacote opcional ExoGlove Pro, que inclui duas luvas de captura de movimento, um receptor sem fio e módulo de bateria, além de dois cabos de dados USB-C.

A escolha entre as duas configurações depende da resolução de ação necessária. Tarefas ao nível do braço podem não precisar de dados da luva, enquanto manipulação precisa e demonstrações completas de movimento do braço à mão se beneficiam da captura simultânea de ambas as camadas.

Transformando ações humanas naturais em dados de treinamento estruturados

O principal desafio da IA ​​incorporada não é simplesmente coletar mais dados. É coletar dados que representem com precisão como as pessoas realizam tarefas físicas úteis.

Ao combinar rastreamento de braço duplo de 14 graus de liberdade (14DOF), feedback de codificador de alta resolução, taxas de amostragem de até 1000 Hz, sensoriamento IMU duplo e captura opcional de pose da mão de 25DOF, o ExoArm-7 Pro oferece um caminho prático do movimento humano natural para dados estruturados de teleoperação e aprendizado de robôs.

Para equipes que desenvolvem robôs de dois braços, manipuladores de alta precisão, sistemas de aprendizado por imitação ou modelos VLA, essa abordagem vestível pode tornar as demonstrações mais intuitivas para os operadores e mais informativas para as máquinas que aprendem com elas.