ทีมวิจัยจะรวบรวมข้อมูลการเคลื่อนไหวแขนคู่และมือที่เป็นธรรมชาติเพิ่มเติมสำหรับการเรียนรู้ของหุ่นยนต์ได้อย่างไร?

ระบบ AI ที่มีร่างกายเรียนรู้จากปฏิสัมพันธ์ ในการสอนหุ่นยนต์ให้หยิบ วาง ประกอบ จัดเรียง หรือใช้เครื่องมือ นักวิจัยจำเป็นต้องมีข้อมูลสาธิตที่อธิบายไม่เพียงแต่ผลลัพธ์สุดท้ายเท่านั้น แต่ยังรวมถึงลำดับการเคลื่อนไหวที่ก่อให้เกิดผลลัพธ์นั้นด้วย

สิ่งนี้จะยิ่งท้าทายมากขึ้นในหุ่นยนต์แขนคู่และหุ่นยนต์ที่ต้องใช้ความคล่องแคล่วสูง ผู้ควบคุมต้องประสานงานแขนทั้งสองข้าง ปรับตำแหน่งข้อต่ออย่างต่อเนื่อง และบ่อยครั้งต้องควบคุมนิ้วแต่ละนิ้วพร้อมกัน ตัวควบคุมแบบดั้งเดิมสามารถควบคุมหุ่นยนต์ได้ แต่ผู้ใช้อาจต้องแปลงการกระทำตามธรรมชาติของมนุษย์ให้เป็นปุ่ม จอยสติ๊ก หรือคำสั่งแยกต่างหาก วิดีโอสามารถบันทึกสิ่งที่เกิดขึ้นได้ แต่ไม่ได้ให้ข้อมูลการเคลื่อนไหวระดับข้อต่อที่สมบูรณ์โดยตรง

โครงสร้างภายนอกแบบสวมใส่ได้ ExoArm-7 Pro ได้รับการออกแบบมาเพื่อแก้ไขช่องว่างนี้โดยการจับภาพการเคลื่อนไหวของแขนมนุษย์โดยตรงและแปลงเป็นข้อมูลความถี่สูงสำหรับการควบคุมหุ่นยนต์จากระยะไกล การเรียนรู้แบบเลียนแบบ ปัญญาประดิษฐ์แบบฝังตัว และการพัฒนา VLA

เหตุใดการเก็บรวบรวมข้อมูลการสาธิตด้วยมือทั้งสองข้างจึงเป็นเรื่องยาก?

งานที่ต้องใช้แขนข้างเดียวอยู่แล้วนั้นเกี่ยวข้องกับตำแหน่ง การวางแนว จังหวะเวลา และการสัมผัส แต่เมื่อใช้แขนสองข้าง ปัญหาการเก็บข้อมูลจะซับซ้อนมากขึ้น เพราะทั้งสองข้างต้องทำงานประสานกันตลอดการปฏิบัติงาน

ลองพิจารณาตัวอย่างทั่วไปบางส่วน:

• มือข้างหนึ่งจับภาชนะไว้ ส่วนอีกมือหนึ่งเปิดภาชนะนั้น
• แขนทั้งสองข้างยกหรือเคลื่อนย้ายวัตถุขนาดใหญ่ร่วมกัน
• มือข้างหนึ่งประคองชิ้นส่วนไว้ ในขณะที่อีกมือหนึ่งใช้เครื่องมือ
• มีการส่งวัตถุจากมือข้างหนึ่งไปยังมืออีกข้างหนึ่ง
• ใช้มือทั้งสองข้างจัดระเบียบหรือพับสิ่งของที่มีความยืดหยุ่น

เพื่อให้การสาธิตเหล่านี้มีประโยชน์ ระบบจะต้องสามารถตรวจจับการเปลี่ยนแปลงเล็กน้อยของข้อต่อได้ด้วยความล่าช้าต่ำ นอกจากนี้ยังต้องมีความสะดวกสบายเพียงพอสำหรับผู้ใช้งานในการทำซ้ำงานหลายครั้งโดยที่อุปกรณ์สวมใส่ไม่เปลี่ยนแปลงการเคลื่อนไหวตามธรรมชาติของพวกเขาอย่างมีนัยสำคัญ

ExoArm-7 Pro จับการเคลื่อนไหวของแขนมนุษย์ได้อย่างไร?

ExoArm-7 Pro ใช้โครงสร้างแขนคู่ 14DOF ซึ่งประกอบด้วยข้อต่อแบบพาสซีฟเจ็ดข้อในแต่ละแขน เมื่อผู้ใช้งานเคลื่อนไหว โครงสร้างที่สวมใส่ได้จะติดตามการเคลื่อนไหวและบันทึกตำแหน่งข้อต่อที่สอดคล้องกัน

ข้อต่อแต่ละส่วนใช้โมดูลเข้ารหัสที่พัฒนาขึ้นเองภายในบริษัท ในขณะที่ข้อมูลข้อต่อแบบ 14 บิตให้ข้อมูลป้อนกลับตำแหน่งที่ละเอียดมาก ทำให้ระบบสามารถตรวจจับการเปลี่ยนแปลงเชิงมุมเล็กๆ แทนที่จะบันทึกเฉพาะท่าทางโดยรวมเท่านั้น

สำหรับเวิร์กโฟลว์การควบคุมระยะไกล ตำแหน่งที่บันทึกไว้สามารถแมปไปยังแขนหุ่นยนต์เพื่อให้หุ่นยนต์ติดตามการเคลื่อนไหวของผู้ควบคุมได้ สำหรับเวิร์กโฟลว์การเรียนรู้ ข้อมูลการเคลื่อนไหวเดียวกันนี้สามารถกลายเป็นส่วนหนึ่งของชุดข้อมูลการสาธิตโดยมนุษย์ที่มีโครงสร้างได้

สามารถตอบสนองได้รวดเร็วพอสำหรับการควบคุมระยะไกลแบบเรียลไทม์หรือไม่?

การตอบสนองที่รวดเร็วเป็นสิ่งสำคัญอย่างยิ่งเมื่อผู้ควบคุมต้องการแก้ไขการเคลื่อนไหวของหุ่นยนต์ขณะที่กำลังโต้ตอบกับวัตถุ หากข้อมูลมาถึงช้าเกินไป หุ่นยนต์อาจรู้สึกขาดการเชื่อมต่อกับผู้ควบคุม และการควบคุมการเคลื่อนไหวที่ละเอียดอ่อนก็จะทำได้ยากขึ้น

ExoArm-7 Pro รองรับอัตราการสุ่มตัวอย่างสูงสุดถึง 1000 เฮิรตซ์ พร้อมกับการควบคุมที่มีความหน่วงต่ำระดับมิลลิวินาที กระแสข้อมูลความถี่สูงนี้ช่วยรักษาความต่อเนื่องของการเปลี่ยนแปลงตำแหน่งแขนอย่างรวดเร็ว และสนับสนุนการแมปการเคลื่อนไหวจากมนุษย์ไปยังหุ่นยนต์ที่ตอบสนองได้ดียิ่งขึ้น

ระบบตรวจจับ Dual-IMU เพิ่มข้อมูลการเคลื่อนไหวและการวางแนวมากกว่าที่ได้จากตัวเข้ารหัสข้อต่อ ระบบมาตรฐานประกอบด้วย IMU ที่ติดตั้งด้านหลังและ IMU ภายนอก ซึ่งให้ข้อมูลเพิ่มเติมสำหรับการตีความการเคลื่อนไหวและการวางแนวของผู้ปฏิบัติงาน

โครงสร้างภายนอกแบบสวมใส่ได้จะจำกัดการเคลื่อนไหวของผู้ใช้งานหรือไม่?

ระบบจับการเคลื่อนไหวควรติดตามผู้ใช้โดยไม่ทำให้ตัวเองกลายเป็นจุดสนใจหลักของงาน หากระบบหนักเกินไปหรือทำให้ไม่สะดวกสบาย ผู้ใช้งานอาจเปลี่ยนท่าทาง ลดระยะการเคลื่อนไหว หรือเคลื่อนไหวไม่สม่ำเสมอมากขึ้นระหว่างการสาธิตซ้ำๆ

ExoArm-7 Pro มีน้ำหนัก 2.6 กิโลกรัม และใช้โครงสร้างที่ออกแบบตามหลักสรีรศาสตร์ที่มีน้ำหนักเบา โมดูลข้อต่อแบบเข้ารหัสแต่ละตัวมีน้ำหนักน้อยกว่า 70 กรัม ในขณะที่รองรับแรงบิดได้สูงสุดถึง 10 นิวตันเมตร ขีดจำกัดทางกลที่ปรับได้ช่วยให้สามารถกำหนดค่าโมดูลข้อต่อให้เหมาะสมกับโครงสร้างที่สวมใส่ได้และข้อกำหนดในการใช้งาน

การออกแบบนี้ทำให้ระบบมีความเหมาะสมมากขึ้นสำหรับการเก็บรวบรวมข้อมูลซ้ำๆ ในห้องปฏิบัติการ ศูนย์วิจัย และสภาพแวดล้อมการพัฒนาหุ่นยนต์

จะทำอย่างไรหากงานนั้นต้องใช้การควบคุมในระดับนิ้วมือ?

เส้นทางการเคลื่อนที่ของแขนหุ่นยนต์สามารถนำทางหุ่นยนต์ไปยังวัตถุได้ แต่ไม่ได้อธิบายว่านิ้วมือสร้างรูปทรงการจับหรือควบคุมเครื่องมืออย่างไร ดังนั้น งานที่เกี่ยวข้องกับมือที่คล่องแคล่วจึงต้องการข้อมูลการเคลื่อนไหวอีกชั้นหนึ่ง

ExoArm-7 Pro สามารถใช้งานร่วมกับถุงมือรับข้อมูลการควบคุมระยะไกล ExoGlove Pro ซึ่งเป็นอุปกรณ์เสริมได้ ถุงมือดังกล่าวใช้เซ็นเซอร์ VetraSense จำนวน 5 ตัวเพื่อสร้างท่าทางมือแบบ 25DOF ที่สมบูรณ์ ช่วยลดจำนวนเซ็นเซอร์ที่จำเป็นลง ในขณะที่ยังคงรักษาข้อมูลการเคลื่อนไหวของนิ้วอย่างละเอียดไว้ได้

ปลายนิ้วแต่ละนิ้วรองรับการติดตามแบบ 6DOF ทำให้ระบบสามารถบันทึกทั้งตำแหน่งและการวางแนวได้ นอกจากนี้ยังสามารถใช้การสั่นสะเทือนที่ปรับได้เพื่อส่งสัญญาณการโต้ตอบไปยังผู้ปฏิบัติงานในระหว่างการควบคุมระยะไกล

ExoGlove Pro ส่งข้อมูลได้สูงสุดถึง 180 เฮิรตซ์ และรองรับความหน่วงแฝงแบบมีสายต่ำกว่า 10 มิลลิวินาที SDK และอัลกอริธึมการกำหนดเป้าหมายการเคลื่อนไหวใหม่ช่วยแปลงท่าทางมือของมนุษย์ไปยังแพลตฟอร์มมือคล่องแคล่วและหุ่นยนต์หลายแพลตฟอร์ม

ถุงมือเหล่านี้มีความเหมาะสมเป็นพิเศษสำหรับชุดข้อมูลที่มีลักษณะดังต่อไปนี้:

• การจับยึดที่แม่นยำ
• การใช้งานเครื่องมือ
• การประกอบชิ้นส่วน
• การหมุนและการปรับทิศทางของวัตถุ
• การจัดการวัตถุที่มีความยืดหยุ่น
• การเคลื่อนไหวของแขน มือ และนิ้วที่ประสานกัน

ExoGlove Pro จำหน่ายแยกต่างหากและไม่ได้รวมอยู่ในชุด ExoArm-7 Pro มาตรฐาน ทีมที่ต้องการข้อมูลระดับแขนเท่านั้นสามารถใช้ระบบมาตรฐานได้ ในขณะที่โครงการที่เกี่ยวข้องกับการเคลื่อนไหวที่คล่องแคล่วสามารถเพิ่มถุงมือเป็นอุปกรณ์เสริมได้

ระบบนี้จะสามารถใช้งานร่วมกับแพลตฟอร์มหุ่นยนต์ที่มีอยู่ได้อย่างไร?

ทีมวิจัยด้านการเรียนรู้ของหุ่นยนต์มักไม่ใช้ฮาร์ดแวร์และซอฟต์แวร์ที่เหมือนกันทุกประการ ห้องปฏิบัติการหนึ่งอาจใช้แขนหุ่นยนต์สำหรับการวิจัย อีกห้องปฏิบัติการหนึ่งอาจใช้หุ่นยนต์แขนคู่แบบเคลื่อนที่ได้ และอีกห้องปฏิบัติการหนึ่งอาจใช้มือหุ่นยนต์ที่ออกแบบมาเป็นพิเศษเพื่อความคล่องแคล่ว

ExoArm-7 Pro มาพร้อมกับ SDK อย่างเป็นทางการและการสนับสนุนการผสานรวมฟรี เพื่อช่วยให้นักพัฒนาสามารถเชื่อมต่อข้อมูลที่บันทึกไว้กับแพลตฟอร์มของตนเองได้ อินเทอร์เฟซซอฟต์แวร์แบบกราฟิกนั้นรองรับ Windows, macOS และ Linux

ด้ามควบคุมแบบกำหนดเองและอะแดปเตอร์สำหรับถุงมือ (อุปกรณ์เสริม) ช่วยเพิ่มความยืดหยุ่นในการใช้งานในรูปแบบต่างๆ สำหรับการใช้งานด้วยมือ การรองรับ SDK หลายแพลตฟอร์มและอัลกอริธึมการกำหนดเป้าหมายการเคลื่อนไหวใหม่ช่วยปรับข้อมูลการเคลื่อนไหวของมนุษย์ให้เข้ากับหุ่นยนต์ที่มีโครงสร้างข้อต่อแตกต่างกัน

นี่หมายความว่าทีมต่างๆ สามารถใช้งาน ExoArm-7 Pro เป็นส่วนหนึ่งของระบบควบคุมระยะไกลและระบบประมวลผลข้อมูลที่ครอบคลุมมากขึ้น แทนที่จะเป็นระบบปิดที่ผูกติดอยู่กับหุ่นยนต์เพียงตัวเดียว

ข้อมูลที่รวบรวมได้สามารถนำไปใช้ได้ที่ไหนบ้าง?

กระบวนการทำงานแบบสวมใส่ได้เดียวกันนี้สามารถรองรับขั้นตอนต่างๆ ของการพัฒนาหุ่นยนต์ได้หลายขั้นตอน

การควบคุมหุ่นยนต์ระยะไกลแบบเรียลไทม์

ผู้ควบคุมสามารถควบคุมแขนหุ่นยนต์คู่ได้โดยใช้การเคลื่อนไหวแขนส่วนบนตามธรรมชาติ ลดการพึ่งพาคำสั่งจอยสติ๊กแยกกันสำหรับแต่ละข้อต่อ

ชุดสาธิตมนุษย์

นักวิจัยสามารถบันทึกวิธีการที่บุคคลปฏิบัติงาน รวมถึงจังหวะเวลาและการประสานงานระหว่างแขนทั้งสองข้างได้

การเรียนรู้แบบเลียนแบบ

สามารถจัดระเบียบการสาธิตซ้ำๆ ให้เป็นชุดข้อมูลที่ช่วยให้หุ่นยนต์เรียนรู้กลยุทธ์การจัดการจากตัวอย่างของมนุษย์ได้

การพัฒนาชุดข้อมูล VLA

ข้อมูลการเคลื่อนไหวของแขนและมือ (ถ้ามี) สามารถนำมาใช้ร่วมกับข้อมูลจากเซ็นเซอร์อื่นๆ และคำสั่งในการทำงานต่างๆ ในกระบวนการวิจัยแบบบูรณาการด้านการมองเห็น ภาษา และการกระทำ (Vision-Language-Action) ได้

การศึกษาด้านหุ่นยนต์

มหาวิทยาลัยและห้องปฏิบัติการสามารถใช้ระบบนี้เพื่อศึกษาการปรับเป้าหมายการเคลื่อนไหว ปฏิสัมพันธ์ระหว่างมนุษย์กับหุ่นยนต์ การควบคุมระยะไกล และปัญญาประดิษฐ์ที่ฝังอยู่ในร่างกาย ภายในแพลตฟอร์มการพัฒนาเดียว

การเลือกการกำหนดค่าที่เหมาะสม

ชุดอุปกรณ์มาตรฐาน ExoArm-7 Pro ประกอบด้วยโครงกระดูกภายนอกแบบสวมใส่ได้ เซ็นเซอร์ IMU แบบติดตั้งด้านหลัง และเซ็นเซอร์ IMU ภายนอก การกำหนดค่านี้เหมาะสำหรับทีมที่เน้นการจับภาพการเคลื่อนไหวของแขนทั้งสองข้าง การควบคุมแขนหุ่นยนต์จากระยะไกล และข้อมูลการสาธิตแขนส่วนบน

สำหรับโครงการที่ต้องการการจับยึดและการเคลื่อนไหวของนิ้วอย่างละเอียด สามารถเพิ่มชุดอุปกรณ์เสริม ExoGlove Pro ซึ่งประกอบด้วยถุงมือจับการเคลื่อนไหวสองข้าง ตัวรับสัญญาณไร้สายและโมดูลแบตเตอรี่ และสายเคเบิลข้อมูล USB-C สองเส้น

การเลือกใช้ระหว่างสองรูปแบบนี้ขึ้นอยู่กับความละเอียดของการเคลื่อนไหวที่ต้องการ งานที่เกี่ยวข้องกับระดับแขนอาจไม่จำเป็นต้องใช้ข้อมูลจากถุงมือ ในขณะที่การเคลื่อนไหวที่คล่องแคล่วและการสาธิตการเปลี่ยนจากแขนเป็นมืออย่างสมบูรณ์จะได้รับประโยชน์จากการบันทึกข้อมูลทั้งสองชั้นพร้อมกัน

การเปลี่ยนพฤติกรรมตามธรรมชาติของมนุษย์ให้เป็นข้อมูลการฝึกอบรมที่มีโครงสร้าง

ความท้าทายหลักในปัญญาประดิษฐ์เชิงกายภาพไม่ได้อยู่ที่การรวบรวมข้อมูลเพิ่มเติมเท่านั้น แต่เป็นการรวบรวมข้อมูลที่แสดงถึงวิธีการที่ผู้คนปฏิบัติภารกิจทางกายภาพที่เป็นประโยชน์ได้อย่างถูกต้องแม่นยำ

ด้วยการผสานรวมการติดตามแขนคู่ 14DOF, การป้อนกลับของตัวเข้ารหัสความละเอียดสูง, อัตราการสุ่มตัวอย่างสูงสุด 1000 Hz, การตรวจจับ IMU คู่ และการจับภาพท่าทางมือ 25DOF ที่เป็นตัวเลือกเสริม ExoArm-7 Pro จึงมอบเส้นทางที่ใช้งานได้จริงจากการเคลื่อนไหวตามธรรมชาติของมนุษย์ไปสู่การควบคุมระยะไกลที่มีโครงสร้างและข้อมูลการเรียนรู้ของหุ่นยนต์

สำหรับทีมที่สร้างหุ่นยนต์แขนคู่ หุ่นยนต์ควบคุมการเคลื่อนไหวที่คล่องแคล่ว ระบบการเรียนรู้แบบเลียนแบบ หรือโมเดล VLA แนวทางแบบสวมใส่ได้นี้สามารถทำให้การสาธิตใช้งานง่ายขึ้นสำหรับผู้ปฏิบัติงาน และให้ข้อมูลที่เป็นประโยชน์มากขึ้นสำหรับเครื่องจักรที่เรียนรู้จากพวกมัน