·當前AI模型安全能力的提升遠遠落后于性能，導致AI的發展是跛腳的，失衡的背后是兩者投入上的巨大差異。目前世界上99%的算力用于模型預訓練，只有不到1%用于對齊或更多安全優先的考量。

發展可信AGI，需要探索AI 45度平衡律，長期來看，AI要大體上沿著45度安全與性能平衡發展。短期內可以有波動，但不能長期低于45度，也不能長期高于45度，這會阻礙技術和產業應用的發展。

7月4日，2024世界人工智能大會暨人工智能全球治理高級別會議在上海開幕。上海人工智能實驗室主任、首席科學家、清華大學惠妍講席教授周伯文提出探索“人工智能45度平衡律”的技術主張。

當前，以大模型為代表的生成式人工智能快速發展，但隨著能力不斷提升，模型自身及其應用帶來一系列潛在風險顧慮。以公眾對AI風險的關注順序來看，首先是數據泄露、濫用、隱私及版權相關的內容風險，其次是惡意使用帶來的偽造虛假信息等相關的使用風險，也可能誘發偏見、歧視等相關的倫理問題，人們擔心是否會帶來就業結構和社會系統性的挑戰，甚至在科幻電影中出現了AI失控、人類喪失自主權等設定。

“這些AI風險有的已經出現，但更多是潛在的。防范這些風險需要共同努力，需要科學設計，做出更多貢獻。”周伯文表示，對AI擔憂的根本原因是目前人類的發展是失衡的。

如果橫軸代表AI技術能力的提升，那么以Transformer為代表的基礎模型架構，加以大數據、大參數量、大計算量的尺度定律，讓目前的AI能力呈指數級增長。但在縱軸的AI安全維度，紅隊測試、安全標識、安全護欄與評估測量等典型技術呈現離散化、碎片化及后置性。最近的一些對齊技術兼顧了性能和安全性，比如監督式微調SFT、人類反饋的強化學習RLHF等技術，幫助將人類的偏好傳遞給大模型，助推涌現出了ChatGPT、GPT-4等令人興奮的AI系統。

但總體上，AI模型安全能力的提升還遠遠落后于性能，這種失衡導致AI的發展是跛腳的，發展不均衡的背后是兩者投入上的巨大差異。周伯文表示，從人才密集度、商業驅動力、算力投入度方面對比來看，對安全的投入遠遠落后于AI能力提升。目前世界上99%的算力用于模型預訓練，只有不到1%用于對齊或更多安全優先的考量。

“發展可信AGI（通用人工智能），要兼顧安全與性能，因此需要找到AI安全優先但又能保證AI能力長期發展的技術體系，我們把這樣一種技術思想體系叫作AI 45度平衡律，長期來看要大體上沿著45度安全與性能平衡發展。”周伯文表示，所謂的平衡是指短期內可以有波動，但不能長期低于45度，如同我們所處的現在；也不能長期高于45度，這會阻礙技術和產業應用的發展。

45度平衡的技術思想體系要求強技術驅動、全流程優化、多主體參與以及敏捷治理。周伯文表示，實現AI 45度平衡律有很多技術路徑，上海人工智能實驗室最近探索以因果為核心的路徑，它被稱為可信AGI的“因果之梯”，以此致敬因果推理領域的先驅——圖靈獎得主Judea Pearl。

可信AGI的“因果之梯”將可信AGI的發展分為三個遞進階段：泛對齊、可干預、能反思。

“泛對齊”主要包含當前最前沿的人類偏好對齊技術。但需要注意的是，這些安全對齊技術僅依賴統計相關性而忽視真正的因果關系，可能導致錯誤推理和潛在危險。一個典型的例子是巴甫洛夫的狗：當狗僅僅基于鈴聲和食物的統計相關性形成條件反射時，它可能在任何聽到鈴聲的場合都觸發行為分泌唾液。

“可干預”主要包含通過對AI系統進行干預，探究其因果機制的安全技術。“能反思”則要求AI系統不僅追求高效執行任務，還能審視自身行為的影響和潛在風險，從而在追求性能的同時，確保安全和道德邊界不被突破。這個階段的技術包括基于價值的訓練、因果可解釋性、反事實推理等。

周伯文表示，目前AI安全和性能技術發展主要停留第一階段，部分在嘗試第二階段，但要真正實現AI的安全與性能平衡，必須完善第二階段并勇于攀登第三階段。沿著可信AGI的“因果之梯”拾級而上，相信可以構建真正可信AGI，實現人工智能的安全與卓越性能的完美平衡。“最終，像安全可控的核聚變技術為全人類帶來清潔、豐富的能源一樣，我們希望通過深入理解AI的內在機理和因果過程，從而安全且有效地開發和使用這項革命性技術。”