Unite Shanghai 2025 | 團結AI：Assistant & Graph

Unite Shanghai 2025于 10 月 23-24 日圓滿舉辦。在團結引擎專場中，Unity 中國軟件工程師，團結引擎 AI 團隊開發成員高尚、柴沛霖帶來分享《團結AI：Assistant & Graph》，本文為演講全文實錄。點擊閱讀原文，可以訪問 Unite Shanghai 2025 演講錄像，一起學習 Unite 分享的最新技術干貨。

團結 AI Assistant

高尚：各位開發者大家下午好，我們今天來看一下團結 AI Assistant——深度集成于團結引擎的人工智能助手。我們在 1.7 版本中對團結 Muse Chat 進行了重新定位，正式更名為團結 AI Assistant，希望在未來能夠帶給各位開發者更好的體驗。

今天在團結 AI Assistant 部分講到的內容將包括知識問答、代碼助手，并重點在 Agent 模式上做一些介紹。在 Agent 模式下，團結 AI Assistant 會根據具體情況選擇合適的 Agent 工具進行調用，以便更好地分析當前項目，自動化操作流程。同時，我們也提供了自定義工具的接口，支持開發者進一步拓展團結 AI Assistant 的能力邊界。最后，我會帶大家一起看看團結 AI Assistant 在 Agent 模式上的未來方向——多智能體支持，我們將在后續的版本更新中陸續向大家開放這一功能。

我們首先來看看基礎能力，團結 AI Assistant 支持關于團結引擎的知識問答，不僅具備深度思考能力，能更好地理解復雜的上下文，也支持通過聯網搜索獲取更多的相關信息。其中，聯網搜索也包含網頁瀏覽功能，可以直接讀取開發者在提問中提供的外部鏈接并基于該網頁內容進行回答。

在團結 1.7 的更新中，我們對代碼助手的交互流程進行了優化。在上面的 demo 中，我們想讓小球繞 z 軸圓周運動，提問然后生成代碼。將代碼保存并導入后，會自動掛載到已選中的小球的 GameObject 上。再次提問讓 AI 修改代碼，這時會自動將腳本 Attach 為附件，修改后保存可以自動覆蓋，整個流程還是比較絲滑的。

我們現在已經支持了低代碼的工作流，方便大家去做代碼的生成、導入和自動掛載到選擇的 GameObject。生成代碼如果編譯檢查不通過，可以進行自動調試和修復，也支持像右邊截圖一樣添加附件作為提問的上下文。為了方便交互，我們也提供了多個便捷入口，可以直接在 GameObject 和腳本文件的右鍵菜單進入，也可以像右下角截圖中所示，針對 Console 報錯一鍵提問，就能讓團結 AI Assistant 自動進行問題分析和修復。

接下來，我們來看看 Agent 模式。之所以要引入 Agent 模式，是因為我們希望讓 AI 不只是“回答問題”，而是真正理解實際項目。我們提供了一套 Agent 工具集，這些工具能幫助團結 AI Assistant 讀取當前項目中的各種資源，比如 GameObject/Assets 等，為 LLM 提供豐富的上下文信息。當開發者提問時，AI Assistant 會自動根據問題的類型和上下文，調用最合適的 Agent 工具，去分析當前項目的狀態，從而生成更準確、更有針對性的回答。實際使用也很簡單，只需將鼠標移動到輸入框左側的機器人圖標，就可以通過點擊來選擇是否啟用，默認是啟用的。同時也能看到 Agent 工具列表，可以選擇是否啟用某個具體的工具。此外，需要向大家說明的是，所有這些信息的讀取，都僅用于當前問題的解答，不會被用于模型訓練，各位開發者可以放心使用。

剛才我們介紹了內置的 Agent 工具，我們也提供了接口支持開發者進行自定義工具的實現。在上面示例中，我們將地形生成功能封裝成了一個自定義 Agent 工具，并通過團結 AI Assistant 的自定義接口進行接入。現在，只需輸入一條簡單的指令，它會自動調用地形生成工具進行執行，在場景中創建所需地形，并可對已有地形進行調整與優化。通過這種方式，開發者可以將自己的工作流邏輯封裝成工具，按照實際需求去拓展團結 AI Assistant 的能力邊界。

自定義工具的創建流程也很簡單，像上方 Demo 一樣，只需點擊 Agent 工具列表右上角的“＋”號，就能打開創建 Agent 工具的彈窗。在這個界面中，開發者對需要的自定義工具進行定義：包括工具的名字和描述，向大語言模型說明這個工具的用途；接下來是參數配置，用于定義每個參數的名稱、類型和描述；最后一項是工具的執行腳本，可以點擊腳本旁邊的“創建”一鍵生成腳本模板，在生成的 C# 文件中編寫執行邏輯。完成設置后，點擊“保存工具”就創建好了。

自定義工具的執行腳本里，必須實現 IAgentToolExecutor 接口，需要選擇調用的類型，再實現對應的函數接口，比如 Task 的異步調用就實現 ExecuteTask。需要說明的是，目前已發布的版本僅支持同步調用，異步調用功能會盡快發布。具體用法可以參考團結引擎的文檔，這里就不過多展開了，或者大家也可以問問我們的團結 AI Assistant。

現在，我們來看看團結 AI Assistant 在 Agent 模式上的未來方向——多智能體支持。為了解決團結引擎在實際使用過程中面臨的復雜任務，我們正在研發多智能體協作機制，目前這是一個內部預研階段的功能，未來我們會在穩定后開放測試。我們希望讓團結 AI Assistant 能夠調用不同團結引擎模塊的專家智能體（Expert Agent），從而更好地應對復雜任務。比如，我們可以為 ShaderGraph 模塊實現一個專門服務于 Shader Graph 專家智能體，就叫做 ShaderGraph Agent，用來處理各類與 ShaderGraph 相關的任務。

我們已經實現了一個可用的 ShaderGraph Agent。提問一個和 Shader Graph 相關的問題，團結 AI Assistant 就會將任務分配給 ShaderGraph Agent 去執行。這些任務可能包括咨詢某個 ShaderGraph 的使用方式，也可以是生成 Shader Graph 節點或 Custom Function 等。除此之外，它還可以根據生成的節點和 custom function 的需要去實際生成配置它的輸出參數，以及把一些輸入的 ShaderGraph 的節點進行自動連接。在使用過程中，只需將 Shader Graph 相關問題交給團結 AI Assistant，它就能夠把任務轉交給 ShaderGraph Agent 去處理，從而實現任務的分配和智能體的協作。

舉個實際的例子，比如說我們有個生成水體效果的需求，我們做了個 Demo，基于團結 AI Assitant 對專家智能體的支持，分成 4 步讓 ShaderGraph Agent 來實現。第一步，我們直接提問團結 AI Assitant，讓它生成計算水體顏色的 Custom Function，判斷到是跟 Shader Graph 相關的任務后，就會交給 ShaderGraph Agent 來處理。這里 ShaderGraph Agent 能根據我們的需求，生成對應的 Custom Function，并設置好需要用到的輸入和輸出，還可以找到并生成合適的節點直接幫我們連好。我們后面就只用檢查一下生成的這個節點對不對，以及根據自己的需求進行一些微調。例如前面生成的邊緣透明度、水體顏色、散射顏色等節點，都是美術可以用來調效果的，我們就可以把他們轉化成 Property，暴露給材質球，方便我們進行后續的調整。

第二步也是一樣，將任務提交給團結 AI Assitant，就會讓 ShaderGraph Agent 去生成通過 NormalMap 動畫來模擬水波紋效果的 Custom Function。我們對生成的節點進行一些微調，比如只保留 World Position 的 X/Z 軸坐標用于貼圖采樣。然后和剛才一樣，將選擇的輸入節點轉換為 Property，方便我們后續調整。

第三步生成折射 UV，和之前一樣檢查生成的節點，生成的 UV 節點默認連接到 UV 輸入，但我們需要用于采樣屏幕顏色的 UV，因此手動進行了替換。最后就是生成頂點動畫，讓水體網格動起來，得到有體積感的波浪效果，將新的位置、法線、切線信息連到頂點著色器上面。

對于這個 Expert Agent，未來我們也會繼續優化，一方面是讓它能更準確地理解需求并進行規劃，從而減少手動操作，盡可能解放雙手。另一方面也會繼續豐富它的功能，挖掘他的潛力，讓它能進一步得提高我們的開發效率，并且降低 Shader Graph 的使用門檻。

最后，我們來簡單聊一下對于團結 AI Assistant 的未來規劃。后續會圍繞三個方向持續優化：一是深度融合團結引擎生態，我們會提供更豐富的內部工具調用支持，然后提供更多模塊的 Expert Agent，同時也會對 Attaching 的交互進行優化，并支持更多附件類型，讓 AI 模型能夠獲得充分的上下文。第二個是智能化任務理解與規劃，剛才提到的優化 Agent 模式，提升 Planning 的能力，優化任務拆解和意圖理解。最后是開放與生態建設，會在后面版本中提供 MCP 支持，支持更多的外部 AI 工具。

后面就把時間交給我的同事為大家介紹團結 AI Graph。

團結 AI Graph

柴沛霖：大家下午好，我是柴沛霖。我會帶來關于團結 AI Graph 更詳細的介紹。

我將更詳細地介紹一下 AI Graph，目的是將資產制作流程可視化，易于編輯和協作，更符合美術使用習慣。大家使用的 ShaderGraph 以及一些 AI 工具都是類似的方式，適合大家自由調配。下圖就是我們現在搭建的 AI Graph 流程圖。

AI Graph 希望作為平臺可以集成多種 AI 工具，如文生圖，文生 3D，動畫生成，骨骼綁定等。最后我們希望內嵌在引擎里，生成資產可以快速生用到場景里。

團結 AI Graph 的創建方式有三種：第一種是菜單欄創建，左上角通過 window 點開團結 AI，后面有一個 Graph template 和團結 AI Graph。選擇團結 AI Graph 可以在當前資產的位置創建一個空的 AI Graph，選擇 template 會提供可供使用的模板。第二種方式是 Inspector 創建，創建空的如動畫、3D 物體、2D 圖片等對象時，可以通過 Inspector 面板右上角 AI generate 去生成。如果想更新這些資產，點擊一個圖片、3D 模型或者動畫，右上角也有 AI generate，可以使用它來替換當前的資產。第三種方式是 Assets 右鍵創建，這是大家常用的創建資產的方式。

上圖是一個空的 AI Graph 文件，搭建它的管線跟大家使用的美術 Shader Graph 很像，是通過右鍵創建一個個的節點，并連線完善它們之間的相互關系。

為了方便大家使用，我們提供了一些模板，點擊 AI Graph template 以后可以看到包括 2D、3D 的資產生成模板。這里的模型廠商有騰訊混元、影眸 Rodin、Tripo-VAST 等，未來會接入更多廠商。

打開模板右邊的界面，左上角會有便簽告訴大家這些是干什么用的，更詳細的參數會在 menu 里面提供，歡迎大家嘗試。

我們提供的模板框架包括 2D 的圖生圖、生成三視圖、生成天空盒等，以及 3D 文/圖生模型、3D 綁骨，圖生動畫等。

還有關于 2D 和 3D 資產修改的其他功能，比如 2D 圖片上色、背景去除、風格轉換等，3D 生成低面數模型、線稿生成模型、風格化角色等。同一種功能可能由不同的廠商提供，大家可以進行比對，選擇最適合自己的使用。

同時我們還提供 group 群組和 Graph 子圖兩種比較特殊的方式供大家使用。group 群組是大家可以把覺得可以成為一個組合的節點拖入進一個 group 群組里面，方便更好地規劃和修改 Graph 的組織架構。Graph 子圖有點像套娃，右上角的圖片示例中顯示了兩個簡單節點，是通過 prompt 生成一個模型，然后我們希望給這個 prompt 一個 string 輸入，右邊給 model 一個輸出。我們可以添加輸入和輸出節點，當前圖片就可以作為子圖導入到下面的 model 節點。Graph 本身是一個資產，可以把資產直接拖到另外一個 Graph 里面，作為子圖使用，這樣可以套娃去使用不同的子圖來完成管線搭建。

最后再講一下歷史資產，生成完的結果我們會通過一個按紐保留到歷史資產列表里面，比如上圖是當前一些節點生成的不同資產。如果覺得現在生成的模型還不如上一個模型，可以將同樣節點的上一個模型直接拖入到當前節點，就可以直接使用。同樣也可以將歷史資產里面之前生成的模型在右上角進行下載或者刪除。

最后講一下團結 AI Graph 未來的規劃。第一個規劃是支持 Sentis 包，Sentis 是 Unity 原生支持 AI 模型的能力，它支持推理框架，能將 AI 模型導入到游戲的應用程序中，用戶可以使用這些 AI 模型進行物體識別、智能 NPC 等復雜功能。模型導入之后，它就可以支持在所有團結平臺上運行，意味著大家可以在 runtime 下使用 AI Graph 完成自己的框架搭建、使用到游戲之中。團結 AI Graph 未來會基于 Sentis 提供三類節點：第一個輸入節點，將項目資產編碼為 AI 需要的張量輸入；第二個推理節點可以運行 AI 模型獲取張量輸出；第三種是輸出節點，將張量輸出為項目資產。這樣大家就可以通過團結 AI 以及 Sentis 的聯動在 runtime 實現更多有創意的內容。

另外一個未來將會做的事是開放式框架，我們希望給用戶提供可以使用的用戶框架，用戶只需要提供符合規格的 Json 文件，AI Graph 會自動解碼編譯成 C# 文件生成用戶自己的用戶節點。未來我們會搭建一個平臺，用戶自己創作的好用節點、節點流都可以上傳到平臺。如果上傳用戶允許，其他用戶可以下載上傳用戶自制的節點或 Graph。

在未來的 2-3 個月里，AI Graph 是供大家免費使用的，每天都有一定數量的免費 token 用量，希望大家積極嘗試，謝謝大家！

Unite Shanghai 2025演講回放錄像已上線 Unity 中文課堂，點擊閱讀原文即可訪問，購票用戶可免費觀看。請持續關注，一起學習 Unite 分享的最新技術動向。

Unity 官方微信

第一時間了解Unity引擎動向，學習進階開發技能

每一個“點贊”、“在看”，都是我們前進的動力