原文： Training a Humanoid Robot for Hard Work

作者：Atlas 機器人行為總監Alberto Rodriguez、研究工程師Shane Rozen-Levy 和Vinay Kamidi

編譯：Felix, PANews

這款人形機器人與您之前見過的任何機器人都截然不同。在最新的影片中，有些顯而易見：Atlas 機器人將軀幹旋轉180 度，蹲下身子抬起一個迷你冰箱，然後把它送到一位正在休息的工程師面前。但也有一些不太明顯的細節，例如，機器人如何充分利用其手臂、腿部和軀幹來完成人類難以完成的搬運工作，以及一些在影片中完全無法展現的細節，如機器人研發的速度和行為的精準度。

這的確令人耳目一新，但為什麼要這樣做？

 Atlas搬運迷你冰箱

波士頓動力公司的其他機器人旨在自動化最繁重的工作。 Stretch 機器人在極熱環境下，能夠自主地從卡車上卸下重達23 公斤的箱子。 Spot 機器人每天都會在完全相同的時間沿著相同的巡檢路線進行相同的測量，及早發現工廠車間出現的問題跡象。這些工作雖然單調乏味，但卻需要高度關注細節，而Stretch 和Spot 每天都在提供這種任務。

Atlas 的目標則是在工廠、倉庫或建築工地等需要極高力量、耐力和靈巧性的場景中，實現非常廣泛的功能。波士頓動力公司正致力於將Atlas 打造為用於體力勞動的通用工具。為了達到滿足真實環境所需的性能和可靠性，無論是在硬體還是在行為控制上都需要實現跨越式的提升。

以下是一系列精心設計的實驗，展示了其在硬體和行為方面取得的重要進展。在Atlas 於1 月公開亮相後的短短幾週內，就展示了人形機器人在力量、靈活性和全身控制方面的表現。

面向現實世界的物理智能

在過去的幾年裡，市場見證了行為架構的根本性轉變，這種轉變源自於演示數據驅動，並展現出日益增強的泛化能力。這是實現人形機器人承諾的關鍵要素：適應性強、學習速度快、容易重新分配任務。這些架構不僅可以驅動桌上型機械手臂的行為，還可以驅動完整的人形機器人執行現實世界的任務。

儘管目前最先進的主流方法能做出出色的行為，但也存在一些局限性：它們過度依賴持續的攝像頭反饋，不僅將其用於理解世界，還用於引導控制循環；它們與環境的交互僅限於機器人非常有限的幾個表面，通常是手指，甚至經常只局限於指尖；而且幾乎完全專注於輕量級任務。

真正的工作，尤其是那些繁重的體力勞動，需要拓寬「物理智能」的定義。當搬運物體時，團隊會利用身體的任何部位來承受重量，並透過觸覺來適應物體的形狀、質量和剛度。

你不可能僅僅透過觀察和用手就舉起一台冰箱。你必須做好準備，預判它的重量，身體前傾，讓身體去適應它的形狀、重量，並判斷自己是否能夠舉起它。真正的工作發生在互動過程中。人形機器人應該能夠用前臂和二頭肌夾住箱子，能夠用膝蓋將重物從地面抬到大腿上，能夠將又長又重的物體扛在肩上，就像能夠輕鬆地抱起冰箱一樣。

Atlas 使用強化學習(RL) 來學習如何抬起冰箱，在模擬環境中透過練習大量版本的冰箱舉重動作來實現。最困難的部分不在於看到冰箱或知道如何抬起它，而是學會適應Atlas 在現實世界中可能遇到的任何形態的冰箱。這是一個控制和感知相結合的問題，其中的感知是透過身體的本體感覺隱式完成的。驅動這些行為的策略已經學會了適應各種變化，例如冰箱的位置、質量、地面的摩擦力以及與冰箱的抓地力，或者冰箱在軀幹、手臂和手之間安放的位置配置。這種適應層次是物理智慧最基礎的建構模組之一。

承載重負的機器人

今天展示的硬體也別具一格。這一代Atlas 機器人不僅專為滿足實際工作所需的靈活性和力量而設計，而且兼具大規模生產所需的簡潔性和可靠性。人形機器人的外型設計固然有其優勢，但透過一些策略性的突破，也能大幅提升其性能與效率。

以下是一些可能乍看之下並不明顯的亮點：

• 極簡的執行器：在機器人身體上只使用了兩種類型的執行器。使其能專注於更大規模地製造更有效率、更強大的執行器，最終降低成本。所有這些都是旋轉執行器，它們在模擬中更容易被準確地呈現，這對於前文提到的利用本體感覺回饋進行高效能強化學習至關重要。

• 高度重複的組件：在身體上盡可能重複使用相同的子組件。兩條腿和兩隻手臂是相同的。肩膀對肩膀、骨盆對骨盆的結構也是完全一樣的。

• 無限旋轉關節：這些執行器可以無限旋轉。透過消除關節間的所有線纜來實現這一點，進而消除了導致致動器硬體故障的主要因素。反過來，這也降低了Atlas 的客戶成本，並賦予Atlas 獨特的高效移動方式。

• 對稱的足部：因為Atlas 具有同等出色的前進和後退能力，所以它的雙腳前後是對稱的。

• 易於維護：手臂、腿部、手部和頭部都是現場可替換單元，只需幾分鐘即可完成更換。

移動式迷你冰箱展示了力量、全身協調性以及對本體感覺回饋的利用。這成為了工業工作的一個基準：在製造環境中搬運那些通常需要兩人合力的笨重物品。

但一些不太實用的任務也有意義。例如，一個90 公斤的機器人之所以能做倒立和後空翻，是因為擁有出色的熱管理系統，這意味著Atlas 能在炎熱的環境中工作。而這些行為還能訓練其他可遷移的技能：例如，如何敏捷平衡地移動，如何在受限環境下充分活動，以及如何從滑倒和跌倒中恢復。

訓練過程

Atlas 作為一個產品和研究平台，目標之一是能在一天內完成新行為的訓練和部署。雖然這次示範並沒有達到這個速度，但Atlas 能如此穩定地完成冰箱移動任務，速度已經遠遠超乎預期。

以下是訓練機器人的方法：

• 參考軌跡：訓練新行為，要使用參考軌跡，也就是告訴策略應該做什麼的資料。這可以是遠端操作示範、動畫軌跡，或是描述一個更抽象的目標。對於冰箱移動任務，首先使用了一個簡單的動畫，以便充分利用Atlas 超人般的運動範圍。

• 激勵：然後，設定一個目標，讓機器人盡可能跟隨動畫軌跡完成任務。透過建立獎勵機制來強化期望的行為（將重物保持在Atlas 的夾爪中，並維持相同的位置和方向），同時還會對機器人和冰箱施加推拉幹擾，使其能夠在受到干擾時仍然專注於主要任務。

• 模擬： Atlas 在圖形處理器(GPU) 上並行運行模擬程序，進行了數百萬小時的動作練習。透過大量的模擬經驗，Atlas 學會了根據冰箱的各種變化調整自身行為。

• 真實機器人：模擬結果良好後，在硬體上進行了測試。模擬只能在一定程度上幫助，而硬體測試才是不斷改進的根本。

• 迭代：一旦獲得了策略在真實機器人上表現的實際數據，就可以回到訓練環節進行調整，並強化該行為。

縮小模擬與實際差距

企業版Atlas 最顯著的改進之一是其模擬環境的高保真度。 Atlas 的模擬與實際差距非常小；可以輕鬆地進行訓練、測試並快速迭代。通常來說，如果一個行為在模擬中看起來不錯，那麼它在機器人上的表現也會很好。

模擬與實際差距指的是策略在模擬環境中的性能與其在真實硬體上的性能之間的差異。模擬中的假設和數學簡化無法捕捉現實世界的複雜性。諸如摩擦、延遲或感測器雜訊等細微變化和變數都會累積起來，導致物理世界中出現故障。

儘管可能永遠無法徹底消除這種差距，但已經非常接近了。 Atlas 團隊建立了一套嚴格的管線和系統支持，用於測試和開發。今天訓練出一個策略，明天就可以帶著成熟的策略在機器人上進行測試，並收集資料以推動下一次迭代和新行為的發展。

是什麼使得模擬與實際之間的差距如此之小？

高保真硬體：與先前的平台不同，該平台僅使用兩種功能強大、高效的執行器，並且完全對稱。這種簡潔的設計和結構，以及致動器的高效性，意味著可以在模擬中以極高的精度對機器人進行建模。由於機器人模型與實際硬體非常接近，因此在部署訓練好的策略時，保真度問題也更少。仿真結果與實際結果完全一致。

域隨機化：為了讓策略更加穩健，並沒有在理想環境下訓練機器人。透過採用域隨機化方法，在整個訓練過程中對冰箱重量、地板摩擦力或馬達功率等參數進行微調。訓練過程中微小的隨機變化，能讓最終行為在面對現實世界的各種變數時更具韌性。例如，移動冰箱的策略最初是針對50-70 磅的負載進行訓練的，但機器人成功地移動了一個總重量超過100 磅的裝滿物品的冰箱。團隊也不會在完美條件下進行測試。團隊把實驗室裡各種各樣的物品放進冰箱；重量不一致，分佈也不均勻，而且在移動過程中會在冰箱內發生位移。透過一套完善的策略，所有這些幹擾因素都可以由Atlas 來消除，而不是由工程師來處理。

人員與流程：最後，流程和操作旨在簡化訓練、測試和實驗。團隊建立了一套嚴謹的流程，有大量人員在幕後付出。團隊與眾多負責機器人實際運作的團隊緊密合作，包括硬體設計團隊、維修技術人員和機器人隊長。整個組織齊心協力，致力於使Atlas 盡可能可靠、高效，同時不斷突破新功能的極限。

相關閱讀：宇樹上市日，英偉達發佈人形機器人