大模型時代算力底座：萬卡超集群如何驅(qū)動長期創(chuàng)新？

國內(nèi)最大單體國產(chǎn)AI算力資源池正式啟用！2月5日，由中科曙光提供的3萬卡超集群系統(tǒng)在國家超算互聯(lián)網(wǎng)核心節(jié)點上線試運行，并將用于萬億參數(shù)模型訓(xùn)練、高通量推理、AI for Science等大規(guī)模AI計算場景。

在老冀看來，這次3萬卡超集群的成功部署可謂意義重大，因為它同時承擔起了中國經(jīng)濟的“技術(shù)破壁者”、“產(chǎn)業(yè)賦能者”、“發(fā)展新引擎”的三重角色。

技術(shù)破壁者

要知道，國內(nèi)AI市場苦算力久矣。

一方面，過去幾年，隨著AI在各行各業(yè)和消費市場的加速落地，對于AI算力的需求出現(xiàn)了爆發(fā)性的增長。知名研究機構(gòu)IDC預(yù)測，2020年到2028年，中國AI算力年均復(fù)合增長率高達46.2%，并在2028年達到2781 EFLOPS的驚人規(guī)模。

另一方面，由于GPU等關(guān)鍵AI芯片以及高端制程工藝均受到限制，國內(nèi)AI算力的供給遭遇眾多掣肘，供不應(yīng)求局面日益凸顯。

如何解決AI算力的瓶頸？建設(shè)能夠容納更多加速卡的AI算力集群，顯然是關(guān)鍵的解決之道。

要知道，在大洋彼岸的美國，美國能源部、xAI、OpenAI、Meta等已經(jīng)建成了超萬卡甚至超10萬卡的集群。

在國內(nèi)，雖然已經(jīng)涌現(xiàn)了一大批國產(chǎn)加速卡廠商，但是單卡性能與英偉達等美國廠商還有一定的差距。由此，國內(nèi)建設(shè)超萬卡集群的需求，其實比美國更加強烈。

那為什么在此之前，國產(chǎn)超萬卡集群并不多呢？這是因為隨著加速卡品類和數(shù)量的激增，超萬卡集群需要同時解決異構(gòu)計算、通信效率優(yōu)化、能耗與散熱平衡、系統(tǒng)穩(wěn)定性保障等多個技術(shù)難點，這就需要系統(tǒng)級的解決方案。

當此關(guān)鍵時刻，中科曙光勇敢地站了出來，通過高密度機柜、高速網(wǎng)絡(luò)、深度優(yōu)化、智能調(diào)度四大技術(shù)突破，打造了scaleX萬卡超集群，不僅實現(xiàn)了技術(shù)的集大成，部分技術(shù)與能力已經(jīng)超越英偉達一年多之后才發(fā)布的NVL576里程節(jié)點。

而且，中科曙光scaleX萬卡超集群基于AI計算開放架構(gòu)，可全面兼容CUDA等主流軟件生態(tài)，支持多品牌國產(chǎn)加速卡混合部署，具備向十萬卡、百萬卡規(guī)模的靈活擴展，目前已完成400多個主流大模型、世界模型的適配優(yōu)化。依托國家超算互聯(lián)網(wǎng)實現(xiàn)一體化算力調(diào)度，更可接入上千款應(yīng)用，從而可為全球用戶提供好用易用的中國AI算力。

產(chǎn)業(yè)賦能者

如果你認為3萬卡超集群只是讓國產(chǎn)AI算力可用，那你就小看它的沖擊力了。實際上，它還承擔起了算力普惠的角色，為千行百業(yè)賦能。

3萬卡超集群在國家超算互聯(lián)網(wǎng)核心節(jié)點上線之后，從2月5日到4月30日，國家超算互聯(lián)網(wǎng)對外公布了邀測計劃，不僅為各行業(yè)領(lǐng)域?qū)I(yè)用戶提供從百卡級到萬卡級規(guī)模的應(yīng)用適配測試，也可為創(chuàng)客、初創(chuàng)團隊、大學(xué)生等群體提供上千卡時、百G存儲、千萬Tokens等免費試用資源。

目前，國家超算互聯(lián)網(wǎng)的用戶規(guī)模已經(jīng)突破100萬，接入了超30家國家級超算中心與智算中心，商品數(shù)量超過了7200個，已完成了1.96億的作業(yè)量。在2月5日3萬卡超集群上線發(fā)布會上，還發(fā)布了首批千款應(yīng)用驗證成果。

3萬卡超集群能做什么？

首先，支持AI頭部大廠的全業(yè)務(wù)。它針對AI頭部大廠的超大規(guī)模模型訓(xùn)練，支持萬億參數(shù)模型的整機訓(xùn)練與容錯恢復(fù)；它面向高通量推理場景，服務(wù)多家頭部互聯(lián)網(wǎng)用戶的核心智能化業(yè)務(wù)，通過聯(lián)合深度優(yōu)化，持續(xù)提升推理效能。

其次，幫助科研團隊降低成本。前不久，科研團隊在國家超算互聯(lián)網(wǎng)平臺使用GROMACS v2023.2 加速版，對油-水體系的界面張力進行了計算。計算表明，基于國產(chǎn)異構(gòu)加速卡，對約2萬原子的體系進行1ns模擬，成本低至1元。如今有了3萬卡超集群提供的澎湃算力支持，科研進度還能大大加速，成本也能繼續(xù)降低。

之前在AI for Science領(lǐng)域，scaleX萬卡超集群支撐國內(nèi)某材料研發(fā)大模型登頂國際權(quán)威榜單，助力國內(nèi)頂級科研團隊將蛋白質(zhì)研究效率提升3-6個數(shù)量級等；同時搭配OneScience科學(xué)大模型一站式開發(fā)平臺，大幅降低多學(xué)科交叉研究的創(chuàng)新門檻。

最后，助力創(chuàng)業(yè)者快速起飛。此前，大學(xué)生創(chuàng)業(yè)團隊匯視威科技就通過國家超算互聯(lián)網(wǎng)的平臺生態(tài)扶持，成長為湖南省“人工智能+”重點企業(yè)，其算力商品銷量突破4800單。

有了3萬卡超集群，即使是規(guī)模很小的創(chuàng)業(yè)團隊，也不用為算力發(fā)愁，從而將自己的主要精力放在算法和場景創(chuàng)新方面，快速完成PMF（產(chǎn)品與市場匹配）。老冀相信，有了3萬卡超集群的助力，未來會有更多創(chuàng)業(yè)公司成長為獨角獸甚至行業(yè)巨頭。

發(fā)展新引擎

為行業(yè)賦能就夠了嗎？目前，國家層面正在積極推動全國算力一張網(wǎng)，“十五五”規(guī)劃建議中就提出推進“全國一體化算力網(wǎng)”，而國務(wù)院《關(guān)于深入實施“人工智能+”行動的意見》強調(diào)“強化智能算力統(tǒng)籌”，指明未來算力發(fā)展將加強高效協(xié)同。

如今，3萬卡超集群在國家超算互聯(lián)網(wǎng)核心節(jié)點的上線，打響了中部算力應(yīng)用高地崛起“第一槍”，成為全國最大算力調(diào)度樞紐，有效聯(lián)動中國乃至全球算力資源與應(yīng)用需求。同時，依托規(guī)模優(yōu)勢，超算互聯(lián)網(wǎng)核心節(jié)點也將帶來人才、數(shù)據(jù)、應(yīng)用場景等產(chǎn)業(yè)聚集效應(yīng)，助力區(qū)域高質(zhì)量發(fā)展。

此前，“東數(shù)西算”的8大算力樞紐和10大算力中心均位于東西部，3萬卡超集群部署在中部的鄭州，能夠更好地連接?xùn)|部的算力需求和西部的算力供給，充當起全國算力中轉(zhuǎn)分發(fā)的樞紐。

如今，我們正在加速走進“人工智能+”時代。3萬卡超集群的上線，讓AI算力走向普惠，助力AI應(yīng)用加速普及，還實現(xiàn)了跨區(qū)域算力協(xié)同。所以說，它不僅僅是技術(shù)破壁者和產(chǎn)業(yè)賦能者，還在成為經(jīng)濟發(fā)展的新引擎。