AI擴展律失靈？Ilya Sutskever預言業界將重返「研究時代」：為何其實人類比AI更懂機器學習？

摩爾定律曾是支撐半導體產業發展的經驗法則，指在固定成本下，晶片上的晶體管密度約每 18–24 個月翻倍，帶動計算能力提升與成本下降。

在 AI 時代，當前顯學則是「擴展律」（scaling laws）。按輝達執行長黃仁勳的定義，AI 效能可隨「預訓練擴展」、「後訓練擴展」、「推理時擴展」三個階段的算力投入而呈現指數級增長。

在這套定義之下，只要增加模型的參數量（Parameters）與訓練數據量（Dataset Size），並投入更多算力進行訓練，模型就會變得更聰明。同時，在 AI 回答問題前給它更多「思考時間」，最終得到的答案品質也會更高。 換句話說，只要 AI 還在朝「更大、更複雜」的方向前進，市場對高階加速器的胃口就不會縮小。

回顧 2023 年起的 AI 投資狂潮，可以說就是建立在「擴展律」的假設之上： 只要投資多少「算力」，就會獲得多少「人工智慧」。

但近期，OpenAI 共同創辦人、現為 Safe Superintelligence（SSI）執行長的 Ilya Sutskever 指出，擴展律曾是一個強大且低風險的成功「配方」，引導 AI 產業進入一個特定時期，但他也認為這個時代即將結束或停滯， 因為單純的規模擴張，已無法解決 AI 模型「泛化能力不足」的根本問題。

Ilya Sutskever也明確指出，人類擁有一種比AI優越的學習機制。他歸因於人類擁有「更好的機器學習」（better machine learning）。這話怎麼說？

預言擴展律的時代終結，AI 先驅為何「烏鴉嘴」？

Ilya Sutskever 作為 AlexNet、GPT-3 等深度學習革命中里程碑研究的共同作者，他的名字與 AI 技術的數次躍遷緊密相連。近期他接受知名科技 Podcast 頻道「Dwarkesh Podcast」的專訪，將 2020 年到 2025 年這段時期稱為 AI 發展的「規模化時代」（the age of scaling）。

亦即，所有科技巨頭在這段時期的預設是「擴大規模，結果就會更好」。因此對公司來說，這是低風險的資源投入方式，相較投入資源進行「高風險研究」，僅擴大現有規格更為有利。

但 Sutskever 認為，當前的規模化做法會「走一段路然後逐漸消退」（peter out），並可能「停滯不前」（stall out）。這預示著業界需要「回到研究時代」（back to the age of research），才能突破當前 AI 發展的瓶頸。而 Sutskever 認為擴展律失效的主要原因，可歸納為兩點。

原因一、數據不足，規模化回報遞減

預訓練所需的數據量「非常明顯是有限的」（very clearly finite）。當數據耗盡時，公司必須思考下一步該怎麼做。這意味著依賴數據擴展的傳統配方將難以為繼。

也就是說，大規模語言模型（LLMs）的成功主要仰賴「預訓練」（pre-training）的機制。在預訓練階段，研究人員的共識是需要使用「所有」可用數據，通常包含人類思維及世界被投射到文本上的大量特徵。

Sutskever 認為，儘管這些數據量極其龐大，但並非無限。這個數據集合（例如網際網路上所有公開文本、書籍、程式碼等）在邏輯與物理上都有明確界限。 在數據不足的情況下，若再將規模擴大 100 倍（100x），「一切都會被轉變」的信念顯然不足為信：「我不認為那是真的」（I don't think that's true）。

原因二、AI不懂舉一反三

當前 AI 的一大問題是，儘管模型在評估（evals）中得分很高，但在現實世界中的經濟影響卻「明顯落後」（dramatically behind）。Sutskever 認為，造成這種「脫節」（disconnect）的根本原因在於模型的泛化能力遠不如人類。

為了進一步闡明當前模型的局限性，Sutskever提出一個比喻：

想像有兩位學生。第一位學生為了成為頂尖程式競賽選手，投入了一萬小時，背誦所有解法、練習所有題目。第二位學生或許只練習了一百小時，卻同樣表現優異。

你認為哪一位在未來的職業生涯中會更成功？

答案顯然是後者。

他解釋道，當前的 AI 模型更像那位「練習了一萬小時的選手」。為了讓它在特定任務上表現出色，投入了海量數據與訓練，使其在該領域達到極高熟練度。然而，它卻缺乏那位只練習一百小時學生的「it factor」（指某種難以言喻的特質），這一種舉一反三的天賦或洞察力，能將所學知識泛化到全新、未曾見過的領域。

為何業界需要重返「研究時代」？

Sutskever 尖銳指出，AI 的預訓練依賴「驚人」（staggering）數量的資料來學習世界模型。相比之下，人類即使在成長過程中接觸的資料量極少，卻能獲得更為「深刻」（deeply）的理解。更重要的是，人類不會犯下 AI 那種看似低級卻反覆出現的邏輯錯誤，這顯示了兩者在學習質量上的根本差異。

Sutskever 認為，當前模型之所以泛化能力不足，可能是因為它們缺失了某些源於人類演化歷程的關鍵要素：

• 情感的角色 ：他引用一個神經科學案例：一位因腦損傷而失去情感處理能力的病人，雖然智力測驗正常，卻無法做出有效決策。這表明情感在人類決策中扮演著類似「價值函數」（value function）的重要角色，幫助我們快速判斷方向的好壞。

• 價值函數的潛力 ：在強化學習中，價值函數可以在漫長任務進行中途就提前判斷當前策略的優劣，而不必等到任務結束才獲得反饋，從而極大提升學習效率。然而，Sutskever 指出，目前價值函數在 AI 訓練中的作用仍非常有限。

• 演化的先驗 ：演化可能為人類提供了關於視覺、運動控制等方面「難以置信的先驗知識」（unbelievable priors）。這些深植於我們生物結構的知識，是模型很難僅從文本數據中學到的。

總結來說，Sutskever認為，人類在學習新興領域（例如數學和編碼）時所展現出的強大能力、可靠性（robustness）和樣本效率（sample efficiency），表明人類的優勢不在於擁有複雜的先驗知識，而在於擁有「更好的機器學習原則」（better machine learning period）。

而正因泛化能力的根本差異，Sutskever 對「超級智慧」的構想也與主流 AGI（通用人工智能）概念大相逕庭。

重新定義 AGI：像超聰明的 15 歲少年

Sutskever 對「AGI」（通用人工智能）這個術語持批判態度。他認為，AGI 概念主要作為「狹隘 AI」（Narrow AI）的反動而誕生，其內涵又被「預訓練」這種一次性學習模式過度強化。他指出，人類本身並非 AGI，因為我們並非無所不知，而是依賴「持續學習」（continual learning）不斷獲取新知。

因此，他提出全新願景： 真正的超級智慧並非無所不知的「成品」，而更像一個「超級聰明的 15 歲少年」。 它是一個擁有極強持續學習能力的系統，可在部署後像人類一樣透過學習與實踐，掌握各種專業技能。

他也預測， 真正的超級智慧將在未來 5 到 20 年內被發現並部署到現實世界，並透過在職的持續學習與經驗融合，迅速累積知識與技能，從而在功能上達成超智慧。

基於這種新的超級智慧觀，Sutskever 對 AI 安全的思考也發生轉變。他坦言，自己現在更重視「漸進式部署」（incrementally and in advance）。與其在實驗室裡埋頭打造一個完美成品然後突然釋放到世界，不如讓世界能夠逐步「感受」AI 的力量，並在此過程同學習如何與之共存。

結論：思想背後的「研究品味」

Sutskever 在訪談中坦承，他的研究哲學深受一種「關於 AI 應該是怎樣的」的個人美學所引導。這種美學由幾個核心原則構成：

• 美感（Beauty）

• 簡潔（Simplicity）

• 優雅（Elegance）

• 來自大腦的正確啟發（Correct inspiration from the brain）

他強調，AI 不能盲目模仿大腦，而是要從中汲取「正確的」靈感。這種由美學與第一性原理構成的「自頂向下的信念」（top-down belief），是在實驗結果看似失敗或充滿矛盾時，依然能堅持方向、持續除錯與探索的內在驅動力。

總結來說，Sutskever 的論調為當前瘋狂的 AI 發展敲下一記警鐘，提醒業界在規模化之後，有重返「研究時代」的必要。

在他的論述之中可以窺見：超級智慧可能是一個能夠持續學習的動態系統；而通往這個未來的安全之路，在於漸進、開放與對所有生命的關懷。也就是說，一個更具「人性」、更懂「情感」的 AI，可能是突破當下瓶頸的一大關鍵。

資料來源：Dwarkesh Patel

延伸閱讀：瑞幸咖啡要來台灣了？順昱控股到底是誰？《數位時代》實地訪查，裝修店面懸2大疑點
「這個產品會不會熱賣？」這個創新框架讓你不用再調查1000個人，只要問AI一次就行

更多報導
TPU概念股有哪些？Google AI大逆襲，12檔台廠概念股一次看
「我們領先一個世代！」輝達回擊市場疑慮背後：GPU跟TPU差在哪？Google真的會動搖AI霸主地位嗎？