AI SoC與芯粒普及，NoC一致性挑戰(zhàn)陡增

數(shù)據(jù)傳輸本身已經(jīng)成為制約系統(tǒng)性能的核心瓶頸。

隨著各類計算單元需要處理、存儲和訪問的數(shù)據(jù)量持續(xù)暴漲，數(shù)據(jù)的傳輸、調(diào)度與管理正變得愈發(fā)棘手。

復(fù)雜SoC與多裸片架構(gòu)（尤其是AI相關(guān)芯片）內(nèi)部，往往集成大量片上網(wǎng)絡(luò)（NoC）來調(diào)度和優(yōu)先處理數(shù)據(jù)流轉(zhuǎn)。這些NoC有的支持緩存一致性、有的為非一致性架構(gòu)，還包含各類輸入輸出接口；也有的僅負(fù)責(zé)系統(tǒng)某一物理分區(qū)的數(shù)據(jù)交互。但如今，所有這些網(wǎng)絡(luò)架構(gòu)都必須在設(shè)計流程更早階段完成規(guī)劃，并在整個系統(tǒng)生命周期中持續(xù)管控調(diào)優(yōu)。

Arteris產(chǎn)品營銷副總裁Andy Nightingale表示：“從各AISoC團(tuán)隊反饋來看，訓(xùn)練與推理任務(wù)不僅推高了數(shù)據(jù)體量，更讓數(shù)據(jù)傳輸本身成為制約系統(tǒng)性能的核心瓶頸。算力的增長速度早已超越摩爾定律，但數(shù)據(jù)流轉(zhuǎn)擁堵、傳輸能效問題，正越來越?jīng)Q定這些算力能否真正被有效利用。”

評估特定場景最優(yōu)NoC架構(gòu)，可從數(shù)據(jù)流量與緩存一致性兩大維度切入。Nightingale稱：“芯片架構(gòu)師需要理清這些問題：誰需要一致性能力、原因是什么；哪些節(jié)點會產(chǎn)生突發(fā)流量、哪些為平穩(wěn)持續(xù)流量；哪些場景對延遲約束極其敏感；后續(xù)衍生芯片與芯粒架構(gòu)需要多大的復(fù)用和擴(kuò)展空間。CPU集群通常必須搭配一致性NoC，因其編程模型高度依賴緩存一致；而NPU一般采用非一致性架構(gòu)，通過顯式數(shù)據(jù)搬運搭配本地內(nèi)存，能獲得更優(yōu)功耗與吞吐性能。”

圖1：CPU與NPU片上網(wǎng)絡(luò)架構(gòu)對比

業(yè)內(nèi)其他人士也認(rèn)同，緩存一致性是選型的首要出發(fā)點。ChipAgents首席執(zhí)行官William Wang表示：“面向共享內(nèi)存CPU集群、對數(shù)據(jù)一致性有強需求的場景，選用一致性NoC；面向NPU與硬件加速器、吞吐優(yōu)先級高于嚴(yán)格一致性的場景，采用非一致性NoC更為合適。”

NoC分為多種架構(gòu)類型：全緩存一致性、末級緩存一致性、I/O一致性（單向一致性）以及純非一致性架構(gòu)。

圖2：一致性NoC典型部署案例

相比非一致性網(wǎng)絡(luò)，一致性網(wǎng)絡(luò)的設(shè)計成本與功耗開銷通常更高。Baya Systems首席解決方案架構(gòu)師Kent Orthner說：“行業(yè)普遍主流做法是：為搭載大容量緩存的高性能CPU搭建一致性互聯(lián)域，同時盡量縮小一致性架構(gòu)的覆蓋范圍。理想狀態(tài)下，僅在內(nèi)存、CPU以及AI加速器之間保留一致性通路，系統(tǒng)其余部分采用簡單的普通讀寫協(xié)議即可。這類簡易協(xié)議無需記錄數(shù)據(jù)最新訪問節(jié)點與歸屬權(quán)，只需直接訪問內(nèi)存、PCIe控制器等終端節(jié)點完成數(shù)據(jù)交互。SoC內(nèi)部部署多NoC架構(gòu)時，最常見的劃分方式就是一致性域與非一致性域分離。”

過去大型芯片廠商大多自研結(jié)構(gòu)相對簡易的NoC。但隨著數(shù)據(jù)流轉(zhuǎn)復(fù)雜度飆升，行業(yè)已轉(zhuǎn)向商用NoC IP方案。Synopsys戰(zhàn)略項目與系統(tǒng)解決方案執(zhí)行董事Frank Schirrmeister表示：“各家IP廠商的思路大同小異：基于用戶輸入需求，提供可配置的模塊化NoC IP。用戶只需定義所有流量源數(shù)量與類型，區(qū)分一致性、非一致性、緩存一致、僅I/O一致等類別，即可在配置環(huán)境中快速搭建NoC架構(gòu)。工具可自動例化緩存、TLB（轉(zhuǎn)譯后備緩沖區(qū)）等組件，完成網(wǎng)絡(luò)搭建。非一致性部分重點保障可實現(xiàn)性，結(jié)合版圖布局評估時序、模塊位置。如今動輒數(shù)十億門級的超大規(guī)模芯片，模塊布局規(guī)劃、數(shù)據(jù)通路布線難度極大，架構(gòu)挑戰(zhàn)十分突出。”

圖3：非一致性NoC典型部署案例

緩存一致性的設(shè)計難度遠(yuǎn)高于I/O一致性。Schirrmeister解釋：“I/O一致性的設(shè)計空間相對寬松，通常是GPU、網(wǎng)卡等外設(shè)讀取CPU緩存數(shù)據(jù)，反向無需同步。而緩存一致性需要保證多核CPU共享內(nèi)存視圖完全統(tǒng)一，交互組合場景更多，邏輯復(fù)雜度大幅提升。”

緩存的作用是在處理器近鄰位置臨時存放數(shù)據(jù)。Orthner介紹：“處理器無需每次都訪問外部內(nèi)存（動輒百納秒延遲），借助緩存就能快速讀取數(shù)據(jù)。但超大型系統(tǒng)中往往包含成百上千個處理器核心，共享內(nèi)存場景下，若某核心讀取數(shù)據(jù)時，不知道其他核心已在本地緩存存有副本，就可能讀到錯誤數(shù)值。緩存一致性的核心，就是確保所有處理器看到的數(shù)據(jù)緩存視圖完全一致。”

事實上，每顆計算核心都擁有私有數(shù)據(jù)緩存。必須實時記錄各核心的數(shù)據(jù)占用狀態(tài)，并實現(xiàn)高效數(shù)據(jù)共享，這正是緩存一致性協(xié)議的設(shè)計初衷。一款集成500個處理器的SoC，在流片前就已完成所有核心的互聯(lián)拓?fù)渑c通信規(guī)則定義。

芯粒、多裸片與3D堆疊架構(gòu)

多裸片封裝架構(gòu)，需要對一致性與非一致性NoC做額外的分層管理。Cadence芯粒與IP解決方案資深產(chǎn)品營銷總監(jiān)Mick Posner表示：“我們的物理AI芯粒平臺最少由三顆芯粒組成：中間為系統(tǒng)芯粒，一側(cè)是CPU芯粒，另一側(cè)為AI加速器芯粒。這是基礎(chǔ)標(biāo)配架構(gòu)。中間系統(tǒng)芯粒必須同時具備一致性與非一致性接口：和CPU互聯(lián)需保持緩存一致，承擔(dān)內(nèi)存管理職責(zé)；而與AI加速器之間僅需I/O一致性，無需緩存一致。加速器可自帶本地內(nèi)存，也可共享系統(tǒng)內(nèi)存，但不需要全局緩存同步機(jī)制。”

這類架構(gòu)必須部署多套獨立NoC。Posner稱：“面向一致性設(shè)計的NoC，硬件開銷遠(yuǎn)高于非一致性網(wǎng)絡(luò)。不同網(wǎng)絡(luò)之間雖可互聯(lián)，但默認(rèn)采用非一致性鏈路，因為其中一側(cè)本身不具備一致性能力。”

圖4：SoC可同時集成一致性與非一致性多套NoC

一致性、可編程性與集成度的平衡

多裸片架構(gòu)下的數(shù)據(jù)流轉(zhuǎn)調(diào)度，對網(wǎng)絡(luò)可編程性與系統(tǒng)拓?fù)渥园l(fā)現(xiàn)能力提出了更高要求。

NoC可幫助封裝內(nèi)各芯粒實現(xiàn)相互識別與拓?fù)浒l(fā)現(xiàn)。Baya的Orthner表示：“同一顆裸片的芯粒，既可以單獨封裝，也可以與另外四顆芯粒陣列封裝，還能垂直堆疊異構(gòu)封裝。這就帶來一個關(guān)鍵問題：上電初始化時，芯粒如何互相識別、確認(rèn)自身在封裝中的拓?fù)湮恢谩⒍ㄎ黄渌玖！＿@要求NoC具備極高的可編程配置能力。”

系統(tǒng)上電后需要管理控制單元介入調(diào)度。Orthner解釋：“管控單元會自動分配流量路由規(guī)則，例如指定某類業(yè)務(wù)流量北向傳輸、北向芯粒則反向南向轉(zhuǎn)發(fā)。系統(tǒng)完成上電喚醒、拓?fù)浒l(fā)現(xiàn)后，會重新配置網(wǎng)絡(luò)路由，讓不同芯粒可訪問同一目標(biāo)地址、卻走不同最優(yōu)通路。”

裸片堆疊架構(gòu)進(jìn)一步增加了網(wǎng)絡(luò)設(shè)計難度。Keysight EDA高速數(shù)字設(shè)計負(fù)責(zé)人Hee Soo Lee指出：“異構(gòu)廠商裸片集成，需要解決器件兼容與系統(tǒng)融合適配難題，讓網(wǎng)絡(luò)與I/O設(shè)計愈發(fā)復(fù)雜。堆疊架構(gòu)下，散熱與機(jī)械應(yīng)力問題的優(yōu)先級，甚至高于電氣互聯(lián)設(shè)計。所有需求都由市場驅(qū)動，尤其是數(shù)據(jù)中心AI負(fù)載對數(shù)據(jù)吞吐的持續(xù)激增需求。”

面向PPA的架構(gòu)優(yōu)化

無論一致性還是非一致性架構(gòu)，多NoC設(shè)計都應(yīng)采用自上而下的芯片設(shè)計思路。Cadence的Posner認(rèn)為：“頂層部署兩套主干NoC，負(fù)責(zé)連接所有子系統(tǒng)；下層再部署本地化NoC。甚至可細(xì)分多套專用網(wǎng)絡(luò)：低帶寬外設(shè)獨立一套、高帶寬高速外設(shè)單獨一套。需根據(jù)互聯(lián)對象定制NoC架構(gòu)，針對性做功耗、性能、面積（PPA）優(yōu)化。同時要理清網(wǎng)絡(luò)層級關(guān)系，實現(xiàn)全局統(tǒng)一管控。”

AI賦能的EDA技術(shù)，正在輔助設(shè)計者做PPA取舍權(quán)衡。ChipAgents的Wang表示：“EDA工具正朝著全自主多智能體工作流系統(tǒng)演進(jìn)，可從規(guī)格定義到流片全程推理優(yōu)化，實時反饋設(shè)計質(zhì)量、完成PPA調(diào)優(yōu)與跨領(lǐng)域協(xié)同設(shè)計。”

大型高端SoC通常會設(shè)計多套獨立網(wǎng)絡(luò)配置。Baya的Orthner說：“配置管理網(wǎng)絡(luò)需要與一致性、主數(shù)據(jù)通路物理隔離，自身吞吐需求很低，屬于控制平面。主要用于寄存器讀寫、系統(tǒng)性能監(jiān)控、功耗域上下電管理。協(xié)議可復(fù)用數(shù)據(jù)通路標(biāo)準(zhǔn)，但規(guī)模更小、帶寬占用極低，避免擠占主業(yè)務(wù)流量。”

芯片地理分區(qū)與拓?fù)洳町悾泊呱硕郚oC部署需求。例如芯片西側(cè)為一組計算核陣列、東側(cè)為另一組，兩類核心無互通需求，可分別部署西域、東域獨立網(wǎng)絡(luò)，再增設(shè)一套全局網(wǎng)絡(luò)完成跨域互聯(lián)。

內(nèi)存架構(gòu)演進(jìn)也倒逼網(wǎng)絡(luò)設(shè)計革新，支撐高性能系統(tǒng)落地。Orthner舉例：“即便物理位置相鄰，也可將內(nèi)存對半拆分，分別劃歸偶數(shù)網(wǎng)絡(luò)、奇數(shù)網(wǎng)絡(luò)，成倍提升系統(tǒng)并發(fā)數(shù)據(jù)吞吐，避免通路沖突。邏輯網(wǎng)絡(luò)劃分方式十分靈活。芯片架構(gòu)定義好NoC邊界與面積后，物理設(shè)計團(tuán)隊需在限定區(qū)域內(nèi)布局所有模塊并收斂時序。若不同NoC采用分散工具、分散項目設(shè)計，會造成邏輯層級錯亂、版圖重疊，極大增加物理實現(xiàn)難度。”

多樣的網(wǎng)絡(luò)架構(gòu)方案，凸顯了現(xiàn)代芯片設(shè)計的復(fù)雜度，尤其物理約束與邏輯需求日漸分化。為應(yīng)對挑戰(zhàn)、保持設(shè)計效率，行業(yè)愈發(fā)傾向統(tǒng)一NoC解決方案，在單個項目中無縫集成多套異構(gòu)NoC。

統(tǒng)一NoC軟件平臺，核心是實現(xiàn)多NoC項目全局管控，而非把所有數(shù)據(jù)流量匯聚到單一網(wǎng)絡(luò)。Orthner解釋：“統(tǒng)一網(wǎng)絡(luò)的含義是：一套頂層設(shè)計、一個工程項目，統(tǒng)一規(guī)劃路由器、邏輯通路、布線資源與物理布局；同時保留各子網(wǎng)絡(luò)的獨立性。可在邏輯上隔離一致性與非一致性流量，共享底層布線資源，實現(xiàn)面積與成本最優(yōu)。只需一次工具運行，即可并行管理多套異構(gòu)網(wǎng)絡(luò)，在系統(tǒng)設(shè)計者管控下實現(xiàn)資源復(fù)用。”

隨著芯片復(fù)雜度持續(xù)攀升，統(tǒng)一NoC架構(gòu)向大型系統(tǒng)的延伸適配愈發(fā)重要。設(shè)計者還要打通NoC與上層基礎(chǔ)設(shè)施，實現(xiàn)架構(gòu)向數(shù)據(jù)中心層級的規(guī)模化擴(kuò)展。

數(shù)據(jù)中心層級架構(gòu)

從數(shù)據(jù)中心視角審視NoC，會衍生出一系列底層架構(gòu)問題：機(jī)架之間如何通信？機(jī)架內(nèi)板卡如何互聯(lián)？板卡上多顆芯片如何交互？最終，芯粒之間的跨裸片通信如何實現(xiàn)？

理清這些問題，就能建立自上而下的數(shù)據(jù)中心層級視圖，為多NoC架構(gòu)劃分層級依據(jù)。Baya Systems首席解決方案架構(gòu)師Saurabh Gayen表示：“頂層視角從數(shù)據(jù)中心切入，整個數(shù)據(jù)中心可視為一臺超級計算機(jī)。先要理清機(jī)架組織方式、橫向與縱向流量流轉(zhuǎn)邏輯，再逐層下沉到封裝層級、芯粒層級。必須建立自上而下的層級規(guī)劃，以此定義多NoC的架構(gòu)分組與互聯(lián)規(guī)則。”

零散松散的模塊化拼接看似簡單，卻并非最優(yōu)方案。Gayen稱：“行業(yè)需要更高集成度、高密度、扁平化、高性能的緊耦合層級架構(gòu)，不能無限制堆砌獨立網(wǎng)絡(luò)。傳統(tǒng)數(shù)據(jù)中心粗放式架構(gòu)已無法適配AI模型算力需求。如今行業(yè)已達(dá)成共識，主動扁平化架構(gòu)、提升性能密度，適配AI大負(fù)載。”

這套層級化設(shè)計理念，同樣適用于封裝與芯粒內(nèi)部架構(gòu)。Gayen強調(diào)：“必須堅持自上而下規(guī)劃，摒棄零散堆疊式的自下而上拼接思路。先定義整體系統(tǒng)架構(gòu)，再拆解為子模塊。同時要區(qū)分芯粒內(nèi)部NoC與裸片間互聯(lián)NoC的設(shè)計差異。性能規(guī)劃自上而下落地，工程實現(xiàn)自下而上推進(jìn)，需要在層級設(shè)計中做好雙向平衡。”

數(shù)據(jù)高效管理的關(guān)鍵，在于子NoC的層級劃分。Orthner表示：“芯片內(nèi)部如何搭建子網(wǎng)絡(luò)、網(wǎng)絡(luò)之間如何互聯(lián)、邊界如何界定至關(guān)重要。從架構(gòu)規(guī)劃到物理版圖晶體管布局，都要遵循預(yù)先設(shè)計的層級邏輯，最大限度降低后端實現(xiàn)工作量。層級化是NoC架構(gòu)設(shè)計的首要核心考量。”

性能分析同樣要立足全局頂層視角。Orthner認(rèn)為：“不必局限于單一內(nèi)存接口帶寬，要從全局?jǐn)?shù)據(jù)流切入：誰與誰需要通信、業(yè)務(wù)目的是什么、數(shù)據(jù)流轉(zhuǎn)路徑如何規(guī)劃。實際系統(tǒng)往往多流量源并發(fā)，必須評估相互干擾與性能影響。”

總結(jié)

過去，NoC往往是芯片設(shè)計后期的補全環(huán)節(jié)，等到物理版圖基本定型才著手設(shè)計。如今，設(shè)計者必須將NoC納入開發(fā)早期流程，讓互聯(lián)架構(gòu)與計算單元同步優(yōu)化。這種設(shè)計思路可全面提升性能、功耗與可擴(kuò)展性，助力復(fù)雜系統(tǒng)實現(xiàn)更優(yōu)整體指標(biāo)。

Arteris的Nightingale總結(jié)：“行業(yè)真正的變化，是設(shè)計優(yōu)先級的重構(gòu)。數(shù)據(jù)傳輸已與算力、內(nèi)存并列，成為芯片三大核心設(shè)計維度。尤其從單裸片向芯粒、分布式架構(gòu)演進(jìn)過程中，頭部團(tuán)隊都在架構(gòu)早期投入布局，保障網(wǎng)絡(luò)可視性、服務(wù)質(zhì)量與長期可擴(kuò)展性，不再把互聯(lián)架構(gòu)當(dāng)成后期優(yōu)化項。”

伴隨系統(tǒng)架構(gòu)持續(xù)迭代，行業(yè)必須優(yōu)先構(gòu)建完善、標(biāo)準(zhǔn)化的安全協(xié)議，從設(shè)計早期布局可擴(kuò)展互聯(lián)方案。供應(yīng)鏈跨企業(yè)協(xié)作至關(guān)重要，保障芯粒與多裸片集成普及下的互聯(lián)兼容性、可靠性與安全韌性。未來，持續(xù)技術(shù)研發(fā)、跨廠商生態(tài)合作、自適應(yīng)網(wǎng)絡(luò)拓?fù)渎涞兀瑢⒊蔀闈M足下一代高性能、高安全數(shù)據(jù)傳輸需求的核心支撐。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個人觀點，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請聯(lián)系后臺。