生成式 AI 的浪潮賦予了機器無盡的創造力,我們已親眼見證它在文字與圖像世界 “點石成金” 的魔力。然而,當這股浪潮涌向更復雜的三維空間,挑戰也隨之升級。過去的 3D 生成 AI 如孩童堆積木,成果粗糙模糊;如今,它渴望成長為一名 “數字建筑師”,去建造結構精巧、可被編輯改造的虛擬世界。
為了實現這一目標,一種流行的方法是讓 AI 學習定義 “內外” 的邊界來隱式地塑造物體。這種方法雖能生成外形平滑的物體,但其成果好比一座 “固化” 的雕塑 —— 一個不可分割的靜態外殼,很難像玩樂高一樣拆解重組。對于藝術家而言,這座雕塑的表面覆蓋著一張雜亂的 “漁網”(無序三角網格),而非規整的 “布料”,任何微調都如同對整片網進行重新編織,極其困難,難以融入專業的創作流程。
受到以上啟發,我們不再滿足于生成雜亂的網格,而是渴望一種更原生、更結構化、更符合設計師與工程師直覺的表征方式 —— 代碼。如何讓模型像程序員一樣,用邏輯和參數構建三維世界?如何讓生成的物體不僅形似,更能被理解、被編輯、被二次創作?帶著這些思考,我們團隊推出了MeshCoder。它是一條探索 3D 程序化生成的新路徑,其核心思想是訓練一個強大的多模態模型,直接將三維輸入(如點云)翻譯成結構化、可執行的 Blender Python 代碼。
我們工作的亮點在于,MeshCoder 生成的不是一個 “死” 的模型,而是一套 “活” 的程序。它具有以下鮮明優勢:
1.分零部件生成:如下視頻所示,MeshCoder 能理解物體的語義結構,將椅子、桌子等自動分解為椅背、椅腿、桌面等獨立部件進行代碼生成,邏輯清晰。