NVIDIA 機器人三神器！大腦、軀體、訓練場一次看 通用型機器人將成真？

[Newtalk新聞] NVIDIA 昨天(30)宣布，開源 Newton 物理引擎以及應用於機器人技能與全新 AI 基礎設施的開放式 NVIDIA Isaac GR00T N1.6 推理視覺語言動作模型，現已在 NVIDIA Isaac™ Lab 推出。這些技術共同為開發者與研究人員提供開放式、加速的機器人平台，可加速迭代、測試標準化、將訓練與機器人上推論統合，並協助機器人以安全可靠的方式，將技能從模擬環境轉移至現實世界。

NVIDIA Omniverse 與模擬技術副總裁 Rev Lebaredian 表示：「人形機器人是物理 AI 下一個前沿，必須具備在無法預測世界中推理、適應及安全行動的能力。透過這些最新更新，開發者現在有三部電腦可將研究中的機器人轉化為實際應用。Isaac GR00T能做為機器人的大腦、Newton 模擬機器人軀體，而 NVIDIA Omniverse 則為訓練環境。」

Newton 開創機器人技術物理模擬的全新標準

機器人在模擬環境中學習更加快速和安全，但人形機器人的關節、平衡與動作相當複雜，挑戰現今物理引擎的極限。全球逾 25 萬名機器人開發者需要準確的物理模擬能力，才能確保他們在模擬環境中指導機器人的技能，可以在現實世界中安全可靠的執行。

NVIDIA 宣布推出 Newton 測試版。Newton是由 Linux Foundation 管理的開源 GPU 加速物理引擎，建置於 NVIDIA Warp 與 OpenUSD 框架上，由 Google DeepMind、Disney Research 與 NVIDIA 共同開發，現已開放使用。

Newton 設計靈活並可搭配不同類型的物理求解器，協助開發者模擬極其複雜的機器人動作，例如在雪地或礫石行走及拿放杯子與水果，並成功部署於現實世界。

Newton 的最新採用者包括蘇黎世聯邦理工學院 Robotic Systems Lab、慕尼黑工業大學與北京大學等知名研究實驗室與大學，以及機器人公司 Lightwheel 與模擬引擎公司 Style3D。

人形機器人必須能理解模稜兩可的指示，並且因應大量前所未有的多樣化經驗，才能在物理世界執行各種類人任務。

輝達表示，開放式 Isaac GR00T N1.6 機器人基礎模型的最新版本，即將在 Hugging Face 推出。此版本將整合 NVIDIA Cosmos™ Reason 這款專為物理 AI 打造的開放式可自訂推理視覺語言模型。Cosmos Reason 做為機器人深度思考的大腦，運用既有知識、常識與物理學，將模糊的指示轉化為逐步計畫，可因應新情境並在執行多種任務時舉一反三。

輝達表示，Cosmos Reason 下載次數已突破 100 萬，目前高居 Hugging Face 物理推理排行榜之首，也可為模型訓練彙整大量真實資料與合成資料集並加以註釋。Cosmos Reason 1 現以簡單易用的NVIDIA NIM™微服務提供，可部署於 AI 模型。Isaac GR00T N1.6 現在可以讓人形機器人同時移動及拿取物件，讓軀體和手臂可更自由完成艱難的任務，例如打開沉重的門。

輝達表示，開發者可運用 Hugging Face 上的開源 NVIDIA 物理 AI 資料集，對 Isaac GR00T N 模型進行後訓練。此資料集下載次數已突破 480 萬次，目前包含成千上萬種合成與現實世界軌跡。

產業巨頭有望 進軍通用型機器人

AeiROBOT、Franka Robotics、LG Electronics、Lightwheel、Mentee Robotics、Neura Robotics、所羅門、達明機器人與 UCR 等機器人領域領導製造商，正在評估運用 Isaac GR00T N 模型打造通用型機器人。

全新 Cosmos 世界基礎模型

此外，NVIDIA 宣布推出開放式 Cosmos WFM （世界基礎模型） 的全新更新。此模型被下載超過300 萬次，可讓開發者生成各種資料，利用文字、影像與影片提示，加速大規模訓練機器人模型。

即將推出的 Cosmos Predict 2.5將三種 Cosmos WFM 的強大功能結合至單一強大模型，降低複雜度、節省時間並大幅提高效率。它支援更長的影片生成時間，最長可製作 30 秒的影片，以及多重視角攝影機輸出，實現更豐富的世界模擬。

Cosmos Transfer 2.5 提供比前代模型更快也更高品質的結果，而且大小減少了 3.5 倍。它能從具備真實標註的 3D 模擬場景，以及深度、影像分割、邊緣資訊與高解析度地圖等用於空間控制輸入內容，生成逼真的合成資料。

以下是指導機器人抓取的全新工作流程內容：

指導機器人抓取物體是機器人技術領域數一數二的難挑戰。抓取的動作不單單是移動手臂，還包括將思緒轉化為精確動作 ，是一個機器人必須透過試錯中習得的技能。

Isaac Lab 2.3 開發者預覽版中全新的靈巧抓取工作流程以 NVIDIA Omniverse平台為建置基礎，運用自動化課程在虛擬世界訓練多指手臂機器人。它從簡單的任務開始，然後逐步提高複雜度。工作流程會調整重力、摩擦力與物體重量等層面，訓練機器人即使在無法預測的環境也能學習技能。

Boston Dynamics 的 Atlas 機器人運用這項工作流程學會抓取，大幅提升操作能力。

Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、所羅門與達明機器人各大機器人開發者，均採用 NVIDIA Isaac 與 Omniverse 技術。

以下是模擬環境中評估機器人習得的技能：

幫助機器人掌握新技能，例如拿起杯子或在房間行走，是極其困難的過程，而且用物理機器人測試這些技能既緩慢又昂貴。

以模擬環境的方式進行可讓機器人對照無數情境、任務與環境測試所學技能，解決這類問題。然而，即使是在模擬環境，開發者打造的測試也往往流於片段簡化，無法反映現實世界。機器人若在完美簡單的模擬環境學習找方向，面對現實世界的複雜度時註定失敗。

NVIDIA 與 Lightwheel 正共同開發 Isaac Lab - Arena，這款可擴充實驗與標準化測試用的開源政策評估框架，讓開發者不必從頭打造系統，就能在模擬環境執行大規模複雜的評估。這款框架近期即將推出。

以下是全新 NVIDIA AI 基礎設施內容：

NVIDIA 發表為最高工作負載設計的 AI 基礎設施，讓開發者能充分利用這些先進的技術與軟體函式庫，其中包括：

NVIDIA GB200 NVL72：這個整合 36 顆 NVIDIA Grace™ CPU 與 72 顆 NVIDIA Blackwell GPU的機架規模系統，可加速複雜的推理與物理 AI 任務等 AI 訓練與推論，廣受各大雲端供應商採用。

NVIDIA RTX PRO™ 伺服器：提供適用於訓練、合成資料生成、機器人學習與模擬領域的各項機器人開發工作負載的單一架構。RTX PRO 伺服器已獲得 RAI Institute 採用。

NVIDIA Jetson Thor：由Blackwell GPU驅動，可讓機器人執行多個 AI 工作流程，實現即時智慧互動與即時機器人上推論，對於高效能物理 AI 工作負載與人形機器人技術應用而言是一大突破。Jetson Thor 已獲得Figure AI、Galbot、Google DeepMind、Mentee Robotics、Meta、Skild AI 和宇樹科技等合作夥伴採用。

以下是NVIDIA 推動機器人技術研究：

GPU、模擬框架與 CUDA 加速函式庫等 NVIDIA 技術，獲得 CoRL 收錄的近半數論文引用，並受卡內基梅隆大學、華盛頓大學、蘇黎世聯邦理工學院與新加坡國立大學等頂尖研究實驗室與機構採用。

此外，由 Stanford Vision and Learning Lab 推出的機器人學習標竿專案BEHAVIOR ，和由北京大學開發用於推動視覺型觸覺機器人技術的高效能模擬平台的Taccel，亦為本次CoRL 亮點。

查看原文

更多Newtalk新聞報導
AI熱浪引爆！專家盤點10檔熱搜台股一次看
聚焦六大「創新」主題！統一投信推出00988A 一表看前十大擬定持股