科學家已經為Apple Vision Pro混合現實耳機開發了一個應用程序，可讓用戶僅使用頭部和手勢來控制機器人。它可用於在不同的情況下遠程控制機器 - 從惡作劇到導航災區。
該應用程序稱為“跟踪流”，跟踪人類的運動，特別是頭部，手腕和手指的移動方式 - 並將這些數據通過Wi-Fi連接流到同一網絡上的機器人。然後，連接的機器人將數據轉換為相應的運動。
研究人員在3月9日發表的一篇簡短論文中發表了他們的作品Girub- 開源代碼存儲庫。他們的系統在手和手腕上跟踪26分，頭部的單獨點。它還記錄了空間數據，例如您的地面有多高。
有關的：請不要在開車時不要穿Apple Vision Pro，學習衝動，但是用VR購買咖啡是“令人興奮的新穎性”
該應用程序的開發人員Younghyo ParkMIT的一名博士生在網站X上發布了一個視頻，該網站X（以前稱為Twitter）顯示了系統中的系統。
在簡短的視頻剪輯中，研究合著者Gabe Margolis，麻省理工學院的一名研究生，用他的手和身體動作控制一個四足機器人。
🥽是否想使用您的新Apple Vision Pro來控制您的機器人？想記錄您如何導航 /操縱世界以訓練政策嗎？我為Visionos開發了一個可以通過WiFi流式傳輸您的頭 /腕部 /手指動作的應用程序，您可以使用…pic.twitter.com/l5cbeinwwf在任何機器上訂閱該應用程序2024年3月9日
瑪格利斯（Margolis）表現出手勢，以指揮機器人接近封閉的門，用抓手轉動手柄並進入。在另一個序列中，他示意機器人拿起塑料垃圾可以蓋住並將其扔進垃圾中。在某一時刻，他還彎腰 - 觸發了機器人模仿他。
蘋果在2024年2月推出了Vision Pro Virtual Reality（VR）耳機，自日常生活中佩戴該設備的人們以來，錄像帶。推出前不久，科學家發表了研究，研究瞭如果您在日常生活中使用VR耳機的性能。
他們發現這些設備的時間滯後時間，切斷了外圍視力，並引起了趣味的磨損扭曲。他們警告不要戴VR耳機在樓下開車或行走時。
Park和Margolis在他們的論文中猜測，某些用戶可能一直都在戴Apple Vision Pro，例如眼鏡，並且繼續使用將提供更多的數據，這些數據可用於教學機器人的移動方式。
