太初元碁洪源：異構(gòu)計(jì)算能力將成為未來(lái)AI算力基礎(chǔ)設(shè)施的重要方向

編輯部 整理自 AIGC2026
量子位 | 公眾號(hào) QbitAI

2026年，AI產(chǎn)業(yè)正在進(jìn)入新一輪高強(qiáng)度算力周期。

隨著Agentic AI、代碼助手、智能辦公等應(yīng)用加速落地，AI正在從Demo走向真實(shí)任務(wù)，Token也隨之成為AI時(shí)代最核心的資源消耗單位。

因此，算力能否支撐更高頻、更復(fù)雜的AI應(yīng)用，正在成為產(chǎn)業(yè)下一階段能否繼續(xù)向前的關(guān)鍵問(wèn)題。在太初元碁首席產(chǎn)品官、高級(jí)副總裁洪源看來(lái)：

在Token經(jīng)濟(jì)加速到來(lái)的背景下，AI算力需要更好地向上兼容框架、模型與應(yīng)用，為大模型訓(xùn)練、推理和行業(yè)落地提供更穩(wěn)定、高效、易用的基礎(chǔ)支撐。
伴隨大模型能力躍遷和AI應(yīng)用快速增加，Token調(diào)用需求正在持續(xù)釋放，國(guó)產(chǎn)算力也迎來(lái)了新的發(fā)展機(jī)遇。

這意味著，未來(lái)算力將不再只是模型訓(xùn)練背后的基礎(chǔ)資源，而會(huì)貫穿從模型研發(fā)、應(yīng)用部署到行業(yè)場(chǎng)景落地的全鏈路，成為Token智能時(shí)代最關(guān)鍵的新型基礎(chǔ)設(shè)施。

在本次量子位AIGC2026上，洪源圍繞國(guó)產(chǎn)算力、Token應(yīng)用、Agentic AI計(jì)算效率等關(guān)鍵詞，分享了自己對(duì)國(guó)產(chǎn)AI算力建設(shè)的看法。

為了完整體現(xiàn)洪源的思考，在不改變?cè)獾幕A(chǔ)上，量子位對(duì)演講內(nèi)容進(jìn)行了編輯整理，希望能給你帶來(lái)更多啟發(fā)。

AIGC2026是由量子位主辦的行業(yè)峰會(huì)，近20位產(chǎn)業(yè)代表與會(huì)討論。線下參會(huì)觀眾超千人，線上直播觀眾近400萬(wàn)，獲得了主流媒體的廣泛關(guān)注與報(bào)道。

核心觀點(diǎn)梳理

• 隨著Agentic AI、行業(yè)大模型和智能應(yīng)用進(jìn)入真實(shí)業(yè)務(wù)場(chǎng)景，AI計(jì)算正在從「生成內(nèi)容」走向「生成任務(wù)」，對(duì)算力系統(tǒng)的穩(wěn)定性、效率和協(xié)同能力提出更高要求，未來(lái)需要解決的是多種計(jì)算單元之間相互配合、協(xié)同調(diào)度，以及降低等待和通信成本的問(wèn)題。
• 國(guó)產(chǎn)AI算力迎來(lái)新的發(fā)展機(jī)會(huì)，但真正的突破點(diǎn)不只在單點(diǎn)性能，更在大規(guī)模集群服務(wù)能力、計(jì)算效率和生態(tài)易用性。
• 大模型訓(xùn)練與推理正在走向萬(wàn)卡乃至更大規(guī)模集群，算力廠商需要從硬件、互聯(lián)、軟件、調(diào)度、運(yùn)維等全鏈條提升系統(tǒng)能力。
• Agent任務(wù)執(zhí)行過(guò)程中，CPU調(diào)度、GPU計(jì)算、通信和數(shù)據(jù)處理等環(huán)節(jié)需要高效協(xié)同，異構(gòu)計(jì)算能力將成為未來(lái)AI算力基礎(chǔ)設(shè)施的重要方向。
• 未來(lái)AI算力將像Token經(jīng)濟(jì)中的「制氧機(jī)」，持續(xù)支撐模型、應(yīng)用和行業(yè)場(chǎng)景運(yùn)行。

以下為洪源演講全文：

Token經(jīng)濟(jì)加速到來(lái)，國(guó)產(chǎn)AI算力迎來(lái)新機(jī)遇

從2022年底ChatGPT發(fā)布以來(lái)，整個(gè)大模型行業(yè)的迭代速度明顯加快，尤其今年以來(lái)，主流大模型的更新頻次進(jìn)一步提升。

對(duì)于算力廠商來(lái)說(shuō)，這意味著我們需要持續(xù)圍繞主流大模型做適配和優(yōu)化。

從模型數(shù)量、訓(xùn)練數(shù)據(jù)規(guī)模、所需算力規(guī)模，到模型本身的參數(shù)規(guī)模，都可以看到非常明顯的增長(zhǎng)趨勢(shì)。

在這一背景下，今年行業(yè)也越來(lái)越頻繁地談到Token經(jīng)濟(jì)，隨著大語(yǔ)言模型調(diào)用量快速增長(zhǎng)，Token正在成為AI時(shí)代非常核心的消耗單位，尤其是國(guó)產(chǎn)模型相關(guān)調(diào)用量，也在持續(xù)提升。

從OpenRouter相關(guān)數(shù)據(jù)預(yù)測(cè)來(lái)看，從2025年到2026年，再到2030年，整體Token調(diào)用量預(yù)測(cè)會(huì)出現(xiàn)大幅增長(zhǎng)。

增幅將達(dá)到212倍，可以預(yù)見，未來(lái)無(wú)論是C端應(yīng)用，還是B端行業(yè)應(yīng)用，都會(huì)帶來(lái)更大規(guī)模的Token消耗。

伴隨Token調(diào)用快速增加，AI應(yīng)用市場(chǎng)也在快速增長(zhǎng)，越來(lái)越多應(yīng)用正在走向真實(shí)場(chǎng)景，辦公、代碼、醫(yī)療、教育、能源、電力等行業(yè)都在加速引入AI能力。

這也意味著，底層算力基礎(chǔ)設(shè)施必須支撐更高頻、更復(fù)雜、更大規(guī)模的AI調(diào)用需求。

在這個(gè)過(guò)程中，算力效率提升會(huì)進(jìn)一步釋放需求，生產(chǎn)效率提高之后，應(yīng)用場(chǎng)景會(huì)變多，調(diào)用頻次會(huì)變高，最終帶來(lái)的反而是算力需求的持續(xù)增加。

從IDC以及國(guó)內(nèi)一些調(diào)研機(jī)構(gòu)的數(shù)據(jù)來(lái)看，到2030年，全球算力規(guī)模預(yù)計(jì)會(huì)以每年60%的速度增長(zhǎng)，其中90%以上將是智能算力。

對(duì)于國(guó)產(chǎn)AI算力而言，這是一輪非常重要的發(fā)展機(jī)會(huì)，大模型能力不斷增強(qiáng)，Token需求快速釋放，行業(yè)應(yīng)用加速落地，都在推動(dòng)國(guó)產(chǎn)算力走向更廣闊的產(chǎn)業(yè)場(chǎng)景。

大模型進(jìn)入任務(wù)時(shí)代，AI算力需要解決三大關(guān)鍵問(wèn)題

當(dāng)然，在新的機(jī)會(huì)面前，國(guó)產(chǎn)AI算力也需要解決一些關(guān)鍵問(wèn)題，整體來(lái)看，我認(rèn)為主要有三個(gè)方面。

第一個(gè)問(wèn)題，是大規(guī)模集群的服務(wù)能力。

現(xiàn)在大模型訓(xùn)練和推理對(duì)集群規(guī)模的要求越來(lái)越高，動(dòng)輒就是萬(wàn)卡，甚至更大規(guī)模的集群，在這樣的大規(guī)模系統(tǒng)中，如何保證訓(xùn)練效率、系統(tǒng)穩(wěn)定性、成本控制和可靠性，是算力企業(yè)必須解決的問(wèn)題。

第二個(gè)問(wèn)題，是計(jì)算效率。

在Agent任務(wù)執(zhí)行過(guò)程中，用戶輸入一個(gè)任務(wù)后，系統(tǒng)需要進(jìn)行任務(wù)規(guī)劃、工具調(diào)用、多輪執(zhí)行和結(jié)果反饋。在這個(gè)過(guò)程中，GPU真正用于計(jì)算的時(shí)間可能只占整體的10%左右，大量時(shí)間會(huì)消耗在CPU調(diào)度、通信、數(shù)據(jù)處理等環(huán)節(jié)。

CPU更多承擔(dān)串行計(jì)算和調(diào)度任務(wù)，GPU更擅長(zhǎng)并行計(jì)算，未來(lái)AI算力系統(tǒng)需要更好地發(fā)揮CPU和GPU等不同計(jì)算單元的協(xié)同效率，讓整個(gè)任務(wù)執(zhí)行鏈路更加高效。

第三個(gè)問(wèn)題，是生態(tài)問(wèn)題。

對(duì)于國(guó)產(chǎn)算力企業(yè)來(lái)說(shuō)，芯片設(shè)計(jì)本身只是第一步，真正決定用戶能不能用起來(lái)、開發(fā)者愿不愿意用、模型和應(yīng)用能不能快速遷移的，是背后的軟件生態(tài)。

國(guó)產(chǎn)算力要服務(wù)好Token經(jīng)濟(jì)，就必須為開發(fā)者和行業(yè)客戶提供更好用、更易用的生態(tài)能力，無(wú)論是底層開發(fā)者，還是上層模型廠商、應(yīng)用廠商，都需要更順暢地完成模型遷移、訓(xùn)練、微調(diào)和推理部署。

AI算力的發(fā)展已經(jīng)不能單一堆性能、堆算力。尤其在Agentic AI快速發(fā)展的背景下，AI計(jì)算正在從生成內(nèi)容走向生成任務(wù)，這對(duì)算力系統(tǒng)提出了新的要求，未來(lái)AI算力需要解決異構(gòu)協(xié)同、高效可用和生態(tài)適配等系統(tǒng)性問(wèn)題。

當(dāng)AI計(jì)算從「生成內(nèi)容」走向「生成任務(wù)」，異構(gòu)協(xié)同會(huì)變得越來(lái)越重要，未來(lái)需要解決的是多種計(jì)算單元之間相互配合、協(xié)同調(diào)度，以及降低等待和通信成本的問(wèn)題。

從超算積累到生態(tài)適配，打造AI產(chǎn)業(yè)「制氧機(jī)」

針對(duì)這些問(wèn)題，太初元碁也在持續(xù)進(jìn)行探索和實(shí)踐。

首先，在大規(guī)模集群方面，我們有高性能計(jì)算領(lǐng)域長(zhǎng)期的技術(shù)積累，特別是面對(duì)大規(guī)模并行計(jì)算任務(wù)，往往涉及10萬(wàn)核甚至數(shù)十萬(wàn)核級(jí)別的協(xié)同計(jì)算，這些經(jīng)驗(yàn)為我們今天做AI算力集群提供了重要基礎(chǔ)。

其次，在異構(gòu)計(jì)算方面，我們從芯片設(shè)計(jì)層面做了相關(guān)布局。

我們?cè)诤诵男酒O(shè)計(jì)中包含不同計(jì)算模塊，比如面向通用計(jì)算的模塊、數(shù)據(jù)處理核心，以及面向并行計(jì)算的模塊。這些不同計(jì)算單元通過(guò)片上網(wǎng)絡(luò)進(jìn)行連接，從而提升CPU、GPU等不同計(jì)算單元之間的協(xié)同效率。

這類架構(gòu)設(shè)計(jì)，主要是為了適應(yīng)未來(lái)AI任務(wù)越來(lái)越復(fù)雜的趨勢(shì)，讓AI應(yīng)用不再只是單一模型推理，而會(huì)涉及任務(wù)拆解、工具調(diào)用、數(shù)據(jù)處理、多輪交互和結(jié)果反饋。面對(duì)這種任務(wù)鏈路，底層算力系統(tǒng)必須具備更強(qiáng)的協(xié)同能力。

此外，在生態(tài)方面，我們也認(rèn)為這是非常重要的一環(huán)。

從底層能力來(lái)看，我們提供了自研編程框架和編程語(yǔ)言支持，同時(shí)也參考成熟開發(fā)生態(tài)，為開發(fā)者提供更容易上手的開發(fā)方式。對(duì)于熟悉Python的開發(fā)者，也可以依托相關(guān)工具能力進(jìn)行開發(fā)。

再往上，我們也在探索基于自然語(yǔ)言交互的自動(dòng)生成算子能力，幫助用戶降低開發(fā)門檻，圍繞訓(xùn)練、微調(diào)和推理等不同環(huán)節(jié)，我們希望提供更完整的一體化方案。

同時(shí)，太初元碁還提供了一系列工具組件，幫助用戶在不同框架之間完成模型一鍵遷移。

從框架到模型，我們也適配了多種第三方框架庫(kù)和模型庫(kù)，幫助模型廠商、應(yīng)用廠商和行業(yè)客戶更順暢地使用國(guó)產(chǎn)算力。

Token經(jīng)濟(jì)到來(lái)之后，算力相對(duì)于整個(gè)AI產(chǎn)業(yè)，就像氧氣對(duì)于人類一樣重要，我們正在建設(shè)的新型基礎(chǔ)設(shè)施，就像持續(xù)供氧的系統(tǒng)。

太初元碁一直在做，也會(huì)持續(xù)做的一件事，就是希望和產(chǎn)業(yè)伙伴一起，發(fā)揮各自優(yōu)勢(shì)，協(xié)同上下游資源，為整個(gè)中國(guó)AI產(chǎn)業(yè)提供穩(wěn)定、高效、自主可控的新型算力基礎(chǔ)設(shè)施。