現在首個由GPT-4驅動的人形機器人「Alter3」！

無需程式設計與零樣本學習，還可根據口頭回饋調整行為，看來未來智能型機器人的世界已將到來了

未來版主將會往這一系列多模態整合應用開系列課程，若有興趣記得隨時來我們的愛課堂逛逛喔

更多AI知識的學習，可到104學習精靈-AI 人工智慧基金知識庫：一讀就懂的入門 免費加入公開課學習

以下正文開始

本文介紹了Alter3，這是一個透過整合大型語言模型（尤其是GPT-4）而能產生自發性運動的人形機器人。 這項成就是透過將GPT-4整合到我們的專有Android平台Alter3中，將LLM與Alter的身體動作結合。 通常，機器人的低階控制依賴於硬件，並不在法學碩士的學習範疇內，這對於基於LLM的直接機器人控制構成了挑戰。 然而，對於Alter3這樣的人形機器人，我們透過程式將人類動作的語言描述映射到機器人身體上，實現了直接控制。 值得注意的是，這種方法使得Alter3能夠執行多種姿勢，如“自拍”或“裝鬼”，並在不需要為每個身體部分進行詳細編程的情況下，隨時間推移生成一系列動作。 這展現了機器人的零樣本學習能力。 此外，口頭回饋可以用來調整姿勢，無需微調。

影片1：「演奏金屬音樂」動作。 該動作是透過GPT-4和語言回饋產生的。

我們做了什麼？

在LLM出現之前，我們必須按照特定順序控制所有43個軸以模仿人的姿勢或行為，例如倒茶或下棋。 這個過程通常需要我們手動進行許多改進。 感謝LLM，我們現在可以避免重複勞動。 以下是使用口頭指示控制Alter3人形機器人的程式。 我們所做的是連續應用兩個用自然語言編寫的協議，稱為思想鏈，無需學習過程的迭代（即零樣本學習）。 需要注意的是，GPT-4是非確定性的，即使在最低設定下也是如此。 因此，即使使用相同的輸入，也可能產生不同的運動模式。 這是GPT-4的特性，雖然在重現性方面提出了問題，但不應視為對其運動生成能力的質疑。

結果
圖1：使用口頭指示控制Alter3人形機器人的程式。 使用兩個提示輸出Python程式碼以自然語言控制Alter3。 這項架構是基於思想鏈。

「裝鬼」動作

影片2：「裝鬼」動作。

語言回饋
Alter3無法觀察到其生成的動作對任何物理過程的影響，這在人類意義上是不自然的。 因此，Alter3無法精確理解細節，例如“手舉得有多高”，也無法相應地改善其動作。 透過回饋經驗並利用外部記憶體，Alter3的身體模型可以與GPT-4集成，而無需更新其參數。 現在，Alter3可以根據人類的語言回饋重寫其程式碼。 例如，使用者可能會建議「自拍時手臂稍微抬高一點。」Alter3 隨後可以將修改後的動作代碼儲存在其資料庫中作為運動記憶。 這確保了下次產生該動作時，將使用改進的、經過訓練的動作。 透過這種回饋累積關於Alter3身體的訊息，記憶可以有效地作為身體圖式。

圖2：Alter3中的語言回饋。 使用者提供語言回饋來指導Alter3在每個運動片段中的調整。 指令類似於「將軸16設定為255」或「更有力地移動你的手臂。」使用者只需提供口頭指示；無需重寫任何代碼。 然後Alter3自主修改對應的程式碼。 一旦動作被完善，就會被保存在一個JSON資料庫中，並帶有描述性標籤，例如「拿著吉他」或「若有所思地輕拍下巴。」對於使用第二個提示產生的動作， JsonToolkit有助於在資料庫中搜尋這些標籤，並由LLM決定記憶體使用和新動作的創建。

圖3：每個動議的評估分數的平均值。 由GPT-4指定的動議包括「假裝蛇」、「喝點茶」、「裝鬼」、「低手投球」、「用手機自拍」、「演奏金屬音樂」等。

討論
Alter3部分回答了LLM是否需要體現的問題。 首先，Alter3無需任何額外訓練即可執行許多操作，這意味著LLM訓練的資料集已經包含了運動描述。 換句話說，Alter3實現了零樣本學習。 此外，它還能模仿鬼、動物等，這是相當驚人的。 它還可以理解聽到的對話內容，並透過面部表情和手勢反映故事是悲傷還是快樂。 我們的系統可以輕鬆應用於任何人形機器人。 到目前為止，Alter3透過LLM獲得了顯著的益處。

更多實驗片段

未來版主將會往這一系列多模態整合應用開系列課程，若有興趣記得隨時來我們的愛課堂逛逛喔

更多ChatGPT咒語指令交流學習搜尋FB社團:中文最大ChatGPT-AI詠唱研究院 好收集最新訊息

非公開社團手機開啟會被擋，請直接複制搜尋社團名稱
中文最大ChatGPT-AI詠唱研究

AI繪圖相關討論社團微軟AI繪圖Bing DALL-E 3教學分享Microsoft Bing Image Creator prompt study 詠唱咒語研究社

非公開社團手機開啟會被擋，請直接複制搜尋社團名稱
微軟AI繪圖Bing DALL-E 3教學分享Microsoft Bing Image Creator prompt study 詠唱咒語研究社

Stable Diffusion愛好者也可直接加入AI繪圖分享Stable Diffusion研究社/Stable Diffusion prompt