人工智能（AI）的發(fā)展一直建立在這樣的信念之上：訓練數據規(guī)模越大，模型就會越來越好。然而，業(yè)界近期曝出了大模型進化遭遇“數據墻”的消息。
據外媒報道，OpenAI、谷歌和Anthropic在AI模型開發(fā)方面都陷入了瓶頸，他們發(fā)現(xiàn)，新模型無法像前面幾代產品那樣帶來巨大的飛躍。這在AI圈瞬時炸開了鍋。
圖靈獎得主楊立昆（Yann LeCun）和OpenAI前首席科學家伊利亞·蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規(guī)模法則（Scaling Law）已經達到極限，必須轉變思維，改變訓練模式了。
而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達里奧·阿莫迪（Dario Amodei）都相繼對“瓶頸”說進行反駁。盡管如此，OpenAI和谷歌都在積極轉變策略，研究如何解決訓練數據匱乏的問題，以及如何調整規(guī)模法則的應用，保持模型穩(wěn)步發(fā)展。
在百度CEO李彥宏看來，模型開發(fā)放緩也不見得是一件壞事。在最近的一次訪談中，他表示，基礎模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態(tài)其實是會比較亂。Meta CEO扎克伯格也表示，即使在現(xiàn)有技術的基礎上，應用層面依然有很大的發(fā)展空間。
圖片來源：視覺中國-VCG41N1309760279
OpenAI、谷歌和Anthropic遭遇開發(fā)瓶頸
據外媒，OpenAI的下一代旗艦模型可能不會像前面幾代產品那樣帶來巨大的飛躍。
測試代號為Orion的新模型的員工發(fā)現(xiàn)，盡管新模型性能超過了OpenAI現(xiàn)有的模型，但進步程度并不如從GPT-3到GPT-4的進步那么大。換句話說，OpenAI改進的速度似乎正在放緩。
OpenAI并不是唯一遭遇阻礙的公司，其競爭對手谷歌和Anthropic也傳出了先進AI模型開發(fā)遇到瓶頸的消息。在以驚人的速度推出日益復雜的AI產品之后，這三家領先的AI公司現(xiàn)在意識到，他們在開發(fā)新模型上進行的大量投入所帶來的回報正在逐漸減少。
據知情人士透露，谷歌即將推出的新版Gemini未達到內部預期，Anthropic也推遲了Claude 3.5 Opus模型的計劃發(fā)布時間。
高質量人造訓練數據的缺乏是AI模型開發(fā)面臨挑戰(zhàn)的一大原因。外媒援引兩位知情人士稱，Orion在編程任務上的表現(xiàn)不盡如人意，部分原因是缺乏足夠的編程數據進行訓練。即使是有一些小幅的改進，也難以證明新模型構建和運營的高昂成本是合理的，這與市場對于重大升級的期待之間存在差距。
科技圈大佬激辯“數據墻”
AI模型開發(fā)遇阻的消息公開后，知名AI評論家加里·馬庫斯（Gary Marcus）甚至直接單方面宣布“勝利”：“游戲結束，我贏了！我早就說過，GPT正在陷入收益遞減階段。”一直以來，馬庫斯就預測，生成式AI的發(fā)展將進入停滯階段。
圖片來源：X平臺
AI懷疑論者經常警告，僅僅通過擴大規(guī)模來提高大模型的方法是有限的。一年前，比爾·蓋茨就表示，有很多理由相信，當前生成式人工智能（AGI）已經達到極限。“GPT-5不會比GPT-4好多少。”
OpenAI前首席科學家、Safe Superintelligence聯(lián)合創(chuàng)始人蘇茨克維近日在接受外媒采訪時也表示，擴大預訓練的結果已經達到了平臺期。所謂預訓練，即使用大量未標記數據來訓練AI模型以理解語言模式和結構的階段。
Meta首席科學家、圖靈獎得主楊立昆還轉發(fā)了蘇茨克維這條新聞，并評論，“我早就告訴過你們了，Meta早就開始轉型了。”