·由于過分注重尺度定律，人力、算力等大量資源資源投入到尺度定律，導致基層研究人員沒有足夠多的計算資源研究新的模型路線，擠壓創新空間。

青年科學家共同探討大模型技術架構的未來可能性。

人工智能大模型技術架構是否已經收斂？未來是否有新的技術可能性？大模型與具身智能如何結合？7月4日，2024世界人工智能大會暨人工智能全球治理高級別會議在上海開幕。在大會科學前沿全體會議上，青年科學家們探討下一代人工智能架構的革新與挑戰。

從ChatGPT到GPT-4，一系列生成式大模型的涌現，似乎昭示著人類正在走向通往通用人工智能的道路上。但上海人工智能實驗室領軍科學家、教授林達華表示，也有研究者發現，盡管現在的模型能力強大，但也出現了一些問題，其中幻覺和泛化是模型落地繞不開的話題。模型的幻覺帶來錯誤回答，使得人們在一些關鍵的認知上產生疑慮，一定程度上會阻礙大模型落地，另一方面即便是最強大的大模型在真實應用場景中還存在很多局限。

基于當前所探討的大模型發展技術道路，如依靠尺度定律（Scaling Law）形成越來越強的智能體的模式，最終能否解決大模型面臨的問題？是否還存在能夠走得更遠的新路徑？

滑鐵盧大學計算機學院助理教授張弘揚表示，從短期來看，尺度定律出現后，大模型能力出現了新變化。尺度定律由數據和算力兩駕馬車拉動，算力、模型的參數量和數據量成一個比例，模型才會有質的提升。“現在最大的一個問題就是數據荒，GPT-4基本上已經把市面上能夠吸收的大部分數據都使用了，我們面臨數據和算力上的瓶頸。”

張弘揚表示，從長期來看，尺度定律存在問題，“人類早上吃一個雞蛋就可以有很多能量做很多事。我們一生中讀不了多少本書，但我們卻有著比大模型優秀得多的能力，比如大模型高考會不及格，但我們卻能考到高分。這是一個開放的問題，現在我也沒有一個具體的答案，但我們應該嘗試交叉學科，比如研究清楚人類是怎樣學習、進化、做任務，這也會啟發大模型。”

上海人工智能實驗室青年科學家陸超超團隊正在研究如何提高大模型的因果推理能力。因果推理能力有助于大模型落地，“一旦一個多模態大模型具有了因果推理能力，它可以作為一個世界模型使用，也可以作為一個具身智能體使用，甚至因為有了因果推理能力，它就具有了反思能力，可以作為一個具有自我意識的智能體。”

陸超超舉例，人坐在椅子上，如何確保機器人不會沖過去踢倒椅子？“首先要確定人和椅子之間的因果關系。我們在這上面做了一些工作，如何定義人和人之間、人和物體之間，甚至物體和物體之間的因果關系，多模態大模型只有理解這些因果關系，才能做出決策，不會傷害人。”其次要賦予AI反思的能力，每次作出決策前，大模型要能反思做出決策后會產生的后果，只有這樣才能做出正確決策，這種反思能力完全可以在因果框架中定義。但陸超超表示，尺度定律并沒有顯著提高模型的因果推理能力。

谷歌DeepMind研究科學家張晗表示，由于現在過分注重尺度定律，人力、算力等大量資源資源投入到尺度定律，導致基層研究人員沒有足夠多的計算資源研究新的模型路線，擠壓創新空間，這是一個損失。

針對具身智能與大模型的結合，加州大學洛杉磯分校計算機系助理教授周博磊表示，可利用大模型為具身智能生成訓練場景，提升具身智能的能力。清華大學交叉信息研究院助理教授許華哲表示，從模型訓練來看，這取決于能否訓練具身大模型來做決策，與世界交互。

“我們最近做了一些小的科學實驗，我在地上畫一個長條的格子，讓機器人沿著格子往前走，每一個格子里要么有一元錢，要么沒有錢，機器人走在格子里就會把錢吸進來，走到格子末尾時，我問它收到的錢是奇數還是偶數。GPT等主流大模型以Transformer為基礎，我們發現Transformer需要非常多的數據才能回答這個問題，而RNN（循環神經網絡）就很容易得到奇偶性。”許華哲表示，團隊在做這一實驗時就在考慮，用于機器人的模型是否需要新的架構，“也許并不是新的架構，而是新舊架構的結合。”

從模型應用來看，許華哲團隊也利用大模型生成環境訓練機器人。“我們直接讓大模型輸出人手的軌跡，在軌跡之上再疊加強化學習，做更精細的操作等，機器人和大模型的這些結合還蠻好的，但這主要是靠大模型目前的能力，未來能否更直接輸出到底層的動作層上，是我們想看到的。”