Araştırma ekipleri, robot öğrenimi için daha doğal çift kollu ve el verilerini nasıl toplayabilir?

Somutlaştırılmış yapay zeka sistemleri etkileşimden öğrenir. Bir robota nasıl nesne alacağını, yerleştireceğini, birleştireceğini, sıralayacağını veya alet kullanacağını öğretmek için araştırmacıların yalnızca nihai sonucu değil, aynı zamanda onu üreten hareket dizisini de açıklayan gösterim verilerine ihtiyaçları vardır.

Bu durum, özellikle çift kollu ve hassas manipülasyonlarda zorlayıcı hale gelir. Operatörün iki kolu koordine etmesi, eklem pozisyonlarını sürekli olarak ayarlaması ve çoğu zaman aynı anda tek tek parmakları kontrol etmesi gerekir. Geleneksel kontrolcüler bir robotu çalıştırabilir, ancak kullanıcının doğal insan hareketini düğmelere, joysticklere veya ayrı komutlara dönüştürmesini gerektirebilir. Video, olanları kaydedebilir, ancak doğrudan eklem seviyesindeki hareket verilerinin tamamını sağlamaz.

ExoArm-7 Pro giyilebilir dış iskelet, insan kol hareketlerini doğrudan yakalayarak ve bunları robot uzaktan kumandası, taklit öğrenme, somutlaştırılmış yapay zeka ve VLA geliştirme için yüksek frekanslı verilere dönüştürerek bu açığı kapatmak üzere tasarlanmıştır.

İki Elle Yapılan Gösterimlere Ait Verileri Toplamak Neden Zordur?

Tek kollu görevler zaten konum, yönelim, zamanlama ve temas gibi unsurları içerir. İki kol kullanıldığında ise veri toplama problemi daha karmaşık hale gelir çünkü her iki tarafın da görev boyunca koordineli kalması gerekir.

Birkaç yaygın örneği ele alalım:

• Bir elinizle kabı tutarken diğer elinizle onu açın.
• İki kol birlikte büyük bir nesneyi kaldırır veya yeniden konumlandırır.
• Bir el bir parçayı sabitlerken diğer el bir alet kullanır.
• Bir nesne bir elden diğerine aktarılıyor.
• Esnek bir nesneyi iki elle düzenleyin veya katlayın.

Bu gösterimlerin faydalı olabilmesi için, sistemin ince eklem hareketlerini düşük gecikmeyle yakalaması gerekir. Ayrıca, giyilebilir cihazın operatörlerin doğal hareketlerini önemli ölçüde değiştirmeden bir görevi birçok kez tekrarlayabilmeleri için yeterince rahat olması da şarttır.

ExoArm-7 Pro insan kol hareketlerini nasıl yakalıyor?

ExoArm-7 Pro, her bir kolunda yedi adet pasif eklem bulunan 14DOF çift kollu bir konfigürasyon kullanır. Operatör hareket ettiğinde, giyilebilir yapı hareketi takip eder ve ilgili eklem pozisyonlarını kaydeder.

Her bir eklem, şirket içinde geliştirilmiş bir kodlayıcı modülü kullanırken, 14 bitlik eklem verileri hassas konum geri bildirimi sağlar. Bu, sistemin yalnızca geniş hareketleri kaydetmek yerine küçük açısal değişiklikleri algılamasına olanak tanır.

Uzaktan kumanda iş akışı için, yakalanan pozisyonlar bir robot koluna eşlenebilir, böylece robot operatörün hareketini takip eder. Öğrenme iş akışı için, aynı hareket bilgileri yapılandırılmış bir insan-gösterim veri kümesinin parçası haline gelebilir.

Gerçek Zamanlı Uzaktan Kumanda İçin Yeterince Hızlı Tepki Verebilir mi?

Operatörün bir nesneyle etkileşim halindeyken robotun hareketini düzeltmesi gerektiğinde, tepki hızı çok önemlidir. Veriler çok yavaş gelirse, robot operatörden kopuk hissedebilir ve hassas manipülasyon kontrolü zorlaşır.

ExoArm-7 Pro, milisaniye düzeyinde düşük gecikmeli kontrol ile birlikte 1000 Hz'e kadar örnekleme hızlarını destekler. Bu yüksek frekanslı veri akışı, kol pozisyonundaki hızlı değişikliklerin korunmasına yardımcı olur ve insan-robot hareket eşleştirmesinin daha duyarlı olmasını sağlar.

Çift IMU algılama, eklem kodlayıcılarının ötesinde hareket ve yönelim bilgisi ekler. Standart sistem, operatörün hareketini ve yönelimini yorumlamak için ek veri sağlayan, arkaya monte edilmiş bir IMU ve harici bir IMU içerir.

Giyilebilir bir dış iskelet, operatörünü kısıtlayacak mı?

Hareket yakalama sistemi, görevin odak noktası haline gelmeden kullanıcıyı takip etmelidir. Çok ağır veya rahatsız ediciyse, operatör duruşunu değiştirebilir, hareketlerini kısaltabilir veya tekrarlanan gösterimler sırasında daha az tutarlı hale gelebilir.

ExoArm-7 Pro, 2,6 kg ağırlığında olup hafif ve ergonomik bir yapıya sahiptir. Her bir enkoder eklem modülü, 10 N·m'ye kadar yük taşıma torkunu desteklerken 70 g'dan daha hafiftir. Ayarlanabilir mekanik sınırlar, eklem modüllerinin giyilebilir yapıya ve çalışma gereksinimlerine göre yapılandırılmasına olanak tanır.

Bu tasarım, sistemi laboratuvarlarda, araştırma merkezlerinde ve robotik geliştirme ortamlarında tekrarlanan veri toplama oturumları için daha pratik hale getiriyor.

Eğer görev parmak seviyesinde manipülasyon gerektiriyorsa ne olacak?

Robotun kol hareket yörüngeleri, robotu bir nesneye doğru yönlendirebilir, ancak parmakların nasıl kavrama sağladığını veya bir aleti nasıl kullandığını açıklamaz. Bu nedenle, becerikli elleri gerektiren görevler, başka bir hareket verisi katmanına ihtiyaç duyar.

ExoArm-7 Pro, isteğe bağlı ExoGlove Pro uzaktan kumanda veri eldivenleriyle eşleştirilebilir. Eldivenler, eksiksiz bir 25DOF el pozisyonunu yeniden oluşturmak için beş VetraSense sensörü kullanır ve ayrıntılı parmak hareketi bilgilerini korurken gereken sensör sayısını azaltır.

Her bir parmak ucu 6DOF izleme özelliğini destekleyerek sistemin hem konum hem de yönelim kaydını yapmasını sağlar. Ayarlanabilir titreşim geri bildirimi, uzaktan kumanda sırasında operatöre etkileşim ipuçları sağlamak için de kullanılabilir.

ExoGlove Pro, 180 Hz'e kadar veri çıkışı sağlar ve 10 ms'nin altında kablolu gecikmeyi destekler. SDK'sı ve hareket yeniden hedefleme algoritmaları, insan el pozisyonlarını çok sayıda becerikli el ve robotik platforma çevirmeye yardımcı olur.

Bu eldivenler özellikle şu veri kümeleri için önemlidir:

• Hassas kavrama
• Aletin çalıştırılması
• Parça montajı
• Nesne döndürme ve yeniden yönlendirme
• Esnek nesne manipülasyonu
• Kol, el ve parmakların koordineli hareketi

ExoGlove Pro ayrı olarak satılmaktadır ve standart ExoArm-7 Pro paketine dahil değildir. Sadece kol seviyesi verilerine ihtiyaç duyan ekipler standart sistemi kullanabilirken, hassas manipülasyon gerektiren projeler eldivenleri ek bir parça olarak ekleyebilir.

Bu sistem mevcut bir robot platformuna nasıl entegre edilebilir?

Robot öğrenimi ekipleri nadiren aynı donanım ve yazılım yığınlarını kullanır. Bir laboratuvar araştırma amaçlı bir kol robotuyla, bir diğeri mobil çift kollu bir robotla, bir diğeri ise özel olarak tasarlanmış becerikli bir el robotuyla çalışabilir.

ExoArm-7 Pro, geliştiricilerin yakalanan verileri kendi platformlarına bağlamalarına yardımcı olmak için resmi bir SDK ve ücretsiz entegrasyon desteği içerir. Görsel yazılım arayüzü Windows, macOS ve Linux işletim sistemlerini destekler.

Özel kontrol kolları ve isteğe bağlı eldiven adaptörü, farklı çalışma yöntemleri için ek esneklik sağlar. El tabanlı uygulamalar için, çok platformlu SDK desteği ve hareket yeniden hedefleme algoritmaları, insan hareket verilerinin farklı eklem yapılarına sahip robotlara uyarlanmasına yardımcı olur.

Bu, ekiplerin ExoArm-7 Pro'yu tek bir robota bağlı kapalı bir sistem olarak değil, daha geniş bir uzaktan kumanda ve veri hattının parçası olarak ele alabileceği anlamına gelir.

Toplanan Veriler Nerelerde Kullanılabilir?

Aynı giyilebilir iş akışı, robotik geliştirmenin çeşitli aşamalarını destekleyebilir.

Gerçek Zamanlı Robot Uzaktan Kumandası

Operatör, üst uzuvlarının doğal hareketleriyle çift robotik kolu kontrol edebilir ve böylece her bir eklem için ayrı joystick komutlarına olan bağımlılığı azaltabilir.

İnsan Gösteri Koleksiyonu

Araştırmacılar, bir kişinin bir görevi nasıl yerine getirdiğini, zamanlamayı ve iki kol arasındaki koordinasyonu da dahil olmak üzere kaydedebilirler.

Taklit Öğrenme

Tekrarlanan gösterimler, bir robotun insan örneklerinden manipülasyon politikalarını öğrenmesine yardımcı olacak veri kümeleri halinde düzenlenebilir.

VLA Veri Kümesi Geliştirme

Kol ve isteğe bağlı el hareket verileri, Görsel-Dil-Eylem araştırma sürecinin bir parçası olarak diğer sensör girdileri ve görev talimatlarıyla birleştirilebilir.

Robotik Eğitimi

Üniversiteler ve laboratuvarlar, bu sistemi kullanarak hareket yeniden hedefleme, insan-robot etkileşimi, uzaktan kumanda ve somutlaştırılmış zeka gibi konuları tek bir geliştirme platformu içinde inceleyebilirler.

Doğru Konfigürasyonu Seçmek

Standart ExoArm-7 Pro paketi, giyilebilir dış iskeleti, sırta monte edilmiş bir IMU sensörünü ve harici bir IMU sensörünü içerir. Bu konfigürasyon, çift kollu hareket yakalama, robot kolu uzaktan kumandası ve üst uzuv gösterim verilerine odaklanan ekipler için uygundur.

Detaylı kavrama ve parmak hareket yörüngeleri gerektiren projeler, iki hareket yakalama eldiveni, kablosuz alıcı ve pil modülü ile iki USB-C veri kablosu içeren isteğe bağlı ExoGlove Pro paketini ekleyebilir.

İki yapılandırma arasında seçim yapmak, gereken hareket çözünürlüğüne bağlıdır. Kol seviyesindeki görevler eldiven verilerine ihtiyaç duymayabilirken, beceri gerektiren manipülasyonlar ve tam kol-el gösterileri her iki katmanın birlikte yakalanmasından fayda sağlar.

Doğal İnsan Hareketlerini Yapılandırılmış Eğitim Verilerine Dönüştürmek

Vücutlandırılmış yapay zekâda temel zorluk, sadece daha fazla veri toplamak değil; insanların faydalı fiziksel görevleri nasıl yerine getirdiğini doğru bir şekilde temsil eden veriler toplamaktır.

14DOF çift kollu izleme, yüksek çözünürlüklü kodlayıcı geri bildirimi, 1000 Hz'e kadar örnekleme hızları, çift IMU algılama ve isteğe bağlı 25DOF el pozisyonu yakalama özelliklerini bir araya getiren ExoArm-7 Pro, doğal insan hareketinden yapılandırılmış uzaktan kumanda ve robot öğrenme verilerine pratik bir yol sunar.

Çift kollu robotlar, hassas manipülatörler, taklit öğrenme sistemleri veya VLA modelleri geliştiren ekipler için bu giyilebilir yaklaşım, gösterileri operatörler için daha sezgisel ve makinelerin onlardan öğrenmesi açısından daha bilgilendirici hale getirebilir.