Exbody2: การควบคุมร่างกายมนุษย์ที่แสดงออกขั้นสูง - YouTube
หุ่นยนต์ Humanoid ในไม่ช้าก็สามารถเคลื่อนไหวได้ในลักษณะที่สมจริงยิ่งขึ้น - และแม้กระทั่งการเต้นรำเช่นเดียวกับเรา - ด้วยกรอบซอฟต์แวร์ใหม่สำหรับการติดตามการเคลื่อนไหวของมนุษย์
พัฒนาโดยนักวิจัยที่ UC San Diego, UC Berkeley, MIT และ Nvidia, "Exbody2" เป็นเทคโนโลยีใหม่ที่ช่วยให้หุ่นยนต์ Humanoid สามารถทำการเคลื่อนไหวที่สมจริงโดยใช้รายละเอียดการสแกนและการสร้างภาพการเคลื่อนไหวของมนุษย์
นักวิจัยหวังว่าหุ่นยนต์ Humanoid ในอนาคตจะสามารถทำงานได้หลากหลายมากขึ้นโดยการเลียนแบบการเคลื่อนไหวของมนุษย์อย่างแม่นยำยิ่งขึ้น ตัวอย่างเช่นวิธีการสอนสามารถช่วยให้หุ่นยนต์ทำงานในบทบาทที่ต้องมีการเคลื่อนไหวที่ดีเช่นการดึงรายการจากชั้นวางหรือเคลื่อนไหวด้วยความระมัดระวังรอบ ๆ มนุษย์หรือเครื่องอื่น ๆ
Exbody2 ทำงานโดยการเคลื่อนไหวจำลองโดยใช้การสแกนการจับภาพเคลื่อนไหวของมนุษย์และแปลเป็นข้อมูลการเคลื่อนไหวที่ใช้งานได้เพื่อให้หุ่นยนต์ทำซ้ำ เฟรมเวิร์กสามารถทำซ้ำการเคลื่อนไหวที่ซับซ้อนโดยใช้หุ่นยนต์ซึ่งจะช่วยให้หุ่นยนต์เคลื่อนที่น้อยลงอย่างเข้มงวดและปรับให้เข้ากับงานที่แตกต่างกันโดยไม่จำเป็นต้องมีการฝึกอบรมอย่างกว้างขวาง
ที่เกี่ยวข้อง:
ทั้งหมดนี้ได้รับการสอนโดยใช้การเรียนรู้การเสริมแรงส่วนย่อยของการเรียนรู้ของเครื่องจักรซึ่งหุ่นยนต์ได้รับข้อมูลจำนวนมากเพื่อให้แน่ใจว่าจะใช้เส้นทางที่ดีที่สุดในสถานการณ์ใดก็ตาม ผลลัพธ์ที่ดีซึ่งจำลองโดยนักวิจัยได้รับการกำหนดคะแนนบวกหรือลบให้กับ "รางวัล" แบบจำลองสำหรับผลลัพธ์ที่พึงประสงค์ซึ่งที่นี่หมายถึงการจำลองการเคลื่อนไหวอย่างแม่นยำโดยไม่กระทบต่อเสถียรภาพของบอท
เฟรมเวิร์กยังสามารถใช้คลิปการเคลื่อนไหวสั้น ๆ เช่นการเต้นรำไม่กี่วินาทีและสังเคราะห์เฟรมใหม่ของการเคลื่อนไหวเพื่อการอ้างอิงเพื่อให้หุ่นยนต์สามารถเคลื่อนไหวได้นานขึ้น
เต้นรำกับหุ่นยนต์
ในวิดีโอที่โพสต์ไปยัง YouTubeหุ่นยนต์ที่ได้รับการฝึกฝนผ่านการเต้นรำ exbody2 สปาร์และการออกกำลังกายข้างมนุษย์ นอกจากนี้หุ่นยนต์เลียนแบบการเคลื่อนไหวของนักวิจัยแบบเรียลไทม์โดยใช้รหัสเพิ่มเติมที่ชื่อว่า "Hybrik: Kinematics ผกผันแบบไฮบริด-Neural Inverse สำหรับการกู้คืนตาข่าย" พัฒนาโดย Machine Vision และกลุ่มข่าวกรองที่มหาวิทยาลัยเซี่ยงไฮ้ Jiao Tong
ในปัจจุบันชุดข้อมูลของ Exbody2 มุ่งเน้นไปที่การเคลื่อนไหวของร่างกายส่วนบน ในการศึกษาอัพโหลด 17 ธันวาคม 2567 ไปยังเซิร์ฟเวอร์ preprintarxivนักวิจัยที่อยู่เบื้องหลังกรอบงานอธิบายว่านี่เป็นเพราะความกังวลที่แนะนำการเคลื่อนไหวมากเกินไปในครึ่งล่างของหุ่นยนต์จะทำให้เกิดความไม่มั่นคง
“ งานที่ง่ายเกินไปอาจจำกัดความสามารถของนโยบายการฝึกอบรมในการสรุปสถานการณ์ใหม่ในขณะที่งานที่ซับซ้อนมากเกินไปอาจเกินขีดความสามารถในการปฏิบัติงานของหุ่นยนต์ซึ่งนำไปสู่ผลลัพธ์การเรียนรู้ที่ไม่มีประสิทธิภาพ” พวกเขาเขียน "ส่วนหนึ่งของการเตรียมชุดข้อมูลของเรารวมถึงการยกเว้นหรือการปรับเปลี่ยนรายการที่มีการเคลื่อนไหวของร่างกายส่วนล่างที่ซับซ้อนเกินความสามารถของหุ่นยนต์"
ชุดข้อมูลของนักวิจัยมีการเคลื่อนไหวมากกว่า 2,800 ครั้งโดยมี 1,919 ของสิ่งเหล่านี้มาจากการเก็บถาวรของการจับภาพการเคลื่อนไหวเป็นชุดข้อมูล Surface Shapes (AMASS) นี่คือชุดข้อมูลขนาดใหญ่ของการเคลื่อนไหวของมนุษย์รวมถึงการเคลื่อนไหวของมนุษย์มากกว่า 11,000 ครั้งและข้อมูลการเคลื่อนไหวโดยละเอียด 40 ชั่วโมงซึ่งมีไว้สำหรับการเรียนรู้เชิงลึกที่ไม่ใช่เชิงพาณิชย์-เมื่อเครือข่ายประสาทได้รับการฝึกฝนเกี่ยวกับข้อมูลจำนวนมหาศาลเพื่อระบุหรือทำซ้ำรูปแบบ
ด้วยประสิทธิภาพของ Exbody2 ที่พิสูจน์แล้วในการจำลองการเคลื่อนไหวเหมือนมนุษย์ในหุ่นยนต์มนุษย์ตอนนี้ทีมจะหันไปหาปัญหาในการบรรลุผลลัพธ์เหล่านี้โดยไม่ต้องดูแลชุดข้อมูลด้วยตนเองเพื่อให้แน่ใจว่าข้อมูลที่เหมาะสมเท่านั้น นักวิจัยแนะนำว่าในอนาคตการรวบรวมชุดข้อมูลอัตโนมัติจะช่วยให้กระบวนการนี้ราบรื่น
