想象一下，在VR中控制遊戲角色時，你的手部動作能夠無縫轉化為角色的行動。如果將這種體驗套用於現實世界中的雙手機器人控制，將帶來革命性的人機互動體驗。隨著Apple Vision Pro的問世，這一設想逐漸變為現實。然而，將這一概念轉化為實際可用的遙作業系統仍面臨諸多挑戰，特別是進行類人操作的復雜運動控制和即時響應要求。
雙手靈巧手系統由於高自由度和復雜的運動學特性，其遙操作尤為困難。此外，如何確保安全性和即時性也同樣重要，尤其是避免因碰撞和奇異點等問題導致的操作失敗。近日 加州大學聖地亞哥分校研究人員最近開發了 Bunny-VisionPro，該系統可實作機器人系統的遠端操作，以完成雙手靈巧的操作任務。 該系統在arXiv預印本伺服器上釋出的一篇論文中進行了介紹，可以方便收集人類的示範，以進行模仿學習。
▍ Bunny-VisionPro的新型即時雙手靈巧遙作業系統
Bunny-VisionPro系統透過VR頭戴裝置的手部和腕部跟蹤能力，實作對高自由度雙手機器人的即時控制。 系統由三大模組組成：手運動對映模組、臂運動控制模組和人體觸覺反饋模組。
手運動對映模組負責將操作者的手指姿態精確地對映到機器人的靈巧手上。 透過捕捉操作者的手指運動數據，該模組運用最佳化演算法最小化人類手指關鍵點向量與機器人手指關鍵點向量之間的距離，從而確保機器人手的運動能夠準確模仿操作者的手指動作。
在實際操作中，研發人員系統首先利用VR裝置的跟蹤能力捕捉操作者手指的三維位置和方向，然後利用最佳化演算法（如Sequential Quadratic Programming, SQP）對這些位置和方向進行最佳化調整，以匹配機器人靈巧手的運動學約束。
對於具有迴圈關節的靈巧手（如四連桿結構），系統采用了一種降維最佳化方法，有效避免了直接處理非獨立被動關節所帶來的計算復雜性和不穩定性。透過這種方法，系統能夠在保證計算效率的同時，實作對手指的精確控制。
臂運動控制技術是確保機器人手臂能夠安全、平滑地執行各種操作任務的關鍵。 該技術基於操作者的手腕姿態，透過逆運動學（IK）計算得到機器人手臂的關節角度，並在此基礎上融入了碰撞避免和奇異點處理機制。
在逆運動學計算中，系統首先根據手腕的位置和姿態資訊構建一個最佳化目標函式，該函式綜合考慮了機器人末端執行器與手腕之間的位置和姿態誤差。同時，為了處理碰撞和奇異點問題，系統進一步在最佳化目標函式中加入了碰撞成本和奇異點避免成本。這些成本項利用空間亞可比矩陣和GJK演算法等先進技術進行計算，確保在機器人運動過程中能夠即時檢測和避免潛在的碰撞和奇異點情況。
透過綜合考慮這些因素，臂運動控制技術能夠在復雜環境中為機器人手臂規劃出既安全又高效的運動軌跡，從而實作精確、平滑地操作任務執行。
人體觸覺反饋模組進一步提升了操作的沈浸感和精確性。 該模組透過將從機器人手上的觸覺傳感器獲取的觸覺讀數轉換為操作者的手部觸覺反饋，使操作者能夠即時感知到機器人與環境的互動情況。這種觸覺反饋不僅增強了操作者的臨場感，還允許他們根據反饋及時調整操作策略，從而實作對機器人運動的更加精準控制。此外，低成本但高效的Eccentric Rotating Mass（ERM）執行器的使用，使得觸覺反饋裝置的實作更加經濟實惠，進一步推動了該技術的普及和套用。
人體觸覺反饋技術透過將從機器人手上的觸覺傳感器獲取的觸覺讀數轉換為操作者的手部觸覺反饋，使操作者能夠即時感知到機器人與環境的互動情況。
為了實作這一功能，系統首先需要對觸覺傳感器讀數進行一系列的訊號處理操作，包括零漂移校準和低通濾波等。這些操作有助於消除讀數中的雜訊和漂移誤差，提高觸覺反饋的準確性和穩定性。隨後系統利用這些處理後的觸覺訊號來驅動低成本的Eccentric Rotating Mass（ERM）執行器產生振動反饋。透過調整執行器的振動強度和頻率，系統能夠模擬出不同的觸覺效果，為操作者提供豐富而真實的觸覺體驗。
在實際操作中，操作者可以根據觸覺反饋即時調整自己的操作策略，以應對機器人與環境之間的不同互動情況。例如，在感知到機器人與物體接觸力度過大時，操作者可以立即減小操作力度以避免損壞物體或機器人自身；在需要精確控制機器人手指位置時，操作者可以依賴觸覺反饋來微調手指關節的角度等。這些操作不僅提高了操作的精確性和安全性，還顯著增強了操作者的臨場感和操作信心。
▍ 系統效能評估與遙操作實驗結果
研究人員對Bunny-VisionPro系統進行了效能測試，結果表明， 即使在處理高自由度的迴圈關節和復雜的運動學約束時，靈巧手運動對映模組和臂運動控制模組均能保持高效的即時效能。 透過采用先進的最佳化演算法和模組化的系統架構，我們能夠確保在復雜動態環境中實作精確、平滑的機器人控制。特別是在處理四連桿結構等具有迴圈關節的靈巧手時，該方法展現出了顯著的速度優勢，有效降低了計算成本，提高了系統整體的響應速度。
為了全面評估Bunny-VisionPro系統在實際操作中的表現，研究人員在Telekinesis基準測試集和一系列自訂的靈巧操作任務上進行了實驗。實驗結果顯示，系統在多數任務中均表現出色，尤其是在需要雙手協調的復雜操作中，如清掃地板、準備咖啡等。相比其他現有的遙作業系統，Bunny-VisionPro在成功率和任務完成時間上均有顯著提升。這些成果不僅證明了系統設計的合理性和有效性，也進一步體現了其在復雜操作任務中的優勢。
為了探究觸覺反饋裝置對遙操作效能的實際影響，開發人員設計並實施了一項使用者研究，並邀請了多位未經過專業培訓的操作員參與，透過對比有無觸覺反饋條件下的操作表現，研究人員發現觸覺反饋顯著提高了操作的成功率和效率。特別是在部份視線受阻的情況下，觸覺反饋為操作員提供了額外的感知資訊，幫助他們更準確地判斷機器人與環境的互動狀態，從而實作了更加精確和穩定的控制。這一發現進一步驗證了觸覺反饋裝置在提高遙作業系統整體效能方面的重要作用。
▍ Bunny-VisionPro系統在模仿學習中的優勢
Bunny-VisionPro系統不僅能夠實作高效的遙操作控制，還能夠為模仿學習提供高品質的演示數據。 透過對比分析發現，利用該系統收集的演示數據在品質上顯著優於其他系統。這些高品質數據不僅包含了豐富的操作細節和變化資訊，還體現了操作員在實際任務中的決策過程和策略選擇。因此，利用這些數據訓練的模仿學習模型在未見過的場景和物件上表現出了更好的泛化能力，能夠更準確地適應新環境和新任務。
為了進一步驗證演示數據的泛化能力，研究人員還在多種模仿學習演算法（如ACT、Diffusion Policy和DP3）上進行了廣泛的測試。實驗結果表明，使用Bunny-VisionPro系統收集的數據訓練的模型在空間泛化和未見物件泛化方面均表現出色。這些模型能夠準確地辨識和理解新場景中的關鍵資訊，並生成適應力的控制策略來完成任務。這些成果不僅展示了演示數據的高品質特性，也進一步證明了Bunny-VisionPro系統在推動模仿學習領域發展方面的潛力。
在長時程、多階段任務中，Bunny-VisionPro系統同樣展示了其高效的數據收集能力和套用價值。 透過少量高品質的演示數據，我們能夠訓練出有效的模仿學習模型來完成復雜的任務序列。這些模型不僅在單個任務階段中表現出色，還能夠在多個連續任務階段中保持穩定的效能水平。這一發現為處理更加復雜和多樣化的實際場景提供了有力的支持，也為未來進一步拓展模仿學習套用領域奠定了堅實的基礎。
▍ 結語與未來：
Bunny-VisionPro系統憑借其高精度即時遙控操作和豐富演示數據收集能力，在靈巧操作與模仿學習領域表現突出。系統不僅在復雜操作任務中展現卓越效能，還為模仿學習研究提供了高品質資料來源。未來隨著系統最佳化與擴充套件套用的突破，該系統有望探索更多創新場景，推動Bunny-VisionPro在更多領域的廣泛套用和技術進步。
