NoC，日益嚴峻

公眾號記得加星標??，第一時間看推送不會錯過。

隨著需要處理、存儲和訪問的數據量不斷增長，數據的移動、管理和跟蹤正變得越來越具有挑戰性。

復雜的片上系統 (SoC) 和multi-die實現方案，尤其是涉及人工智能的方案，可能包含大量的片上網絡 (NoC) 來管理和優先處理數據傳輸。這些片上網絡可以包含一致性或非一致性緩存和 I/O，也可以只處理系統的單個物理部分。但所有這些都需要在設計流程的早期階段進行規劃，并且需要在系統的整個生命周期內進行監控。

Arteris公司產品管理和市場營銷副總裁Andy Nightingale表示：“我們從人工智能SoC團隊了解到，訓練和推理不僅增加了數據量，還暴露出數據傳輸本身已成為系統的主要瓶頸。計算能力的增長速度遠超摩爾定律，但數據傳輸、擁塞和能源效率越來越決定著這些計算能力是否能夠真正發揮作用。”

數據流量和一致性是確定特定應用場景下最佳片上網絡 (NoC) 的良好切入點。“[芯片架構師應該]思考誰需要一致性以及原因，哪些代理會生成突發數據還是穩定數據流，延遲限制在哪些情況下至關重要，以及預期在衍生產品或chiplet之間實現多少復用或擴展，”Nightingale 表示。“CPU 集群通常需要一致性 NoC，因為它們的編程模型依賴于此。NPU 通常不需要一致性 NoC，因為顯式數據移動和本地內存可以提供更高的功耗和吞吐量。”

圖 1：片上 CPU 與 NPU 網絡

其他人也認同一致性是一個很好的起點。“對于共享內存 CPU 集群，如果一致性很重要，就選擇一致性 NoC；而對于 NPU 和加速器，如果吞吐量比嚴格的一致性更重要，就選擇非一致性 NoC。” ChipAgents首席執行官 William Wang 表示。

片上網絡有多種類型。它們可以是完全緩存一致性的、末級緩存一致性的、I/O 一致性的（也稱為單向一致性的）或非一致性的。

圖 2：相干片上網絡部署示例

與非相干網絡相比，相干網絡通常成本更高、功耗更大。“一種非常常見的做法是，使用擁有緩存的大型高性能CPU，并將它們連接到相干網絡中，同時盡可能縮小相干網絡的規模，” Baya Systems首席解決方案架構師Kent Orthner表示。“你真正希望的是，相干網絡僅限于內存和CPU之間，或許還可以包括AI加速器。系統的其余部分通常會使用更簡單的協議，只進行讀寫操作。這種簡單的協議不會考慮誰最后訪問了數據，也不會考慮誰負責數據。它們只是訪問諸如內存或PCIe控制器之類的端點，并測試所需的數據。人們在討論SoC上的多個片上網絡（NoC）時，一個常見的區分點就是相干網絡與非相干網絡。”

過去，大型芯片制造商通常會開發自己相對簡單的片上網絡（NoC）。但隨著數據傳輸復雜性的增加，業界已轉向使用商用NoC IP。“他們各自都有自己解決‘如何根據輸入需求提供可配置模塊’這個問題的方法，” Synopsys戰略項目和系統解決方案執行總監Frank Schirrmeister表示， “他們會說，‘這是我所有的數據源。我有30個數據源。有些是相干的，有些是非相干的，有些是緩存相干的，還有一些是僅I/O相干的。’”然后，你進入配置片上網絡（NoC）的環境，按下一個按鈕，他們就提供了構建模塊，可以實例化這些緩存、TLB（轉換后備緩沖區）等等，從而構建NoC。對于非一致性位，重點在于確保它們能夠被實現。觀察布局，時序如何？這些組件在哪里？在那些復雜的數十億門芯片上，確定組件的位置以及如何來回傳輸數據是非常棘手的，挑戰也巨大。

圖 3：非相干片上網絡部署示例

緩存一致性比 I/O 一致性更具挑戰性。“I/O 核心一致性需要考慮的空間要大得多，”Schirrmeister 說。“通常情況下，你會讀取外圍設備（例如 GPU 或網絡接口）的 CPU 緩存數據，但反過來則不然。但在緩存一致性中，多個 CPU 核心需要看到一致的內存視圖，這要復雜得多，因為需要考慮的因素更多。”

緩存用于臨時存儲靠近處理器的數據。“處理器會說，‘我需要這個，我需要那個，我還需要這個，’”Orthner 說。 “它不必非得訪問外部存儲器，那樣可能需要 100 納秒的時間。它可以非常迅速地獲取數據。但我們通常關注的大型系統中，可能有很多不同的處理器。由于它們共享內存，如果一個處理器說‘我需要這部分信息’，而它不知道另一個處理器已經在本地緩存中保存了該信息的副本，那么它最終可能會得到錯誤的值。因此，緩存一致性就是確保每個處理器對信息的訪問都來自同一個緩存。”

事實上，每種類型的計算處理器都有自己的私有數據緩存。“它們必須跟蹤誰擁有哪部分數據，并高效地共享這些數據，這就是緩存一致性協議的意義所在，”Orthner 說。“如果你有一個包含 500 個處理器的 SoC，它知道這 500 個處理器是什么，以及如何與它們通信，因為所有這些都在制造之前就已經確定好了。”

chiplet、multi-die和 3D

多chiplet件需要對相干和非相干片上網絡 (NoC) 進行額外的管理。

“我們的物理 AI chiplet平臺通常至少包含三個chiplet，”Cadence chiplet和 IP 解決方案高級產品營銷總監 Mick Posner 表示。 “中心是系統芯片。一側是CPU芯片。另一側是AI加速器。這三個芯片構成了任何物理AI芯片平臺的基礎。中心的系統芯片必須同時具備一致性接口和非一致性接口，因為它需要與CPU通信。因此，系統芯片和CPU之間必須保持一致性，因為它負責管理內存。它還需要一個與CPU一致的接口。但是，與AI加速器的連接只需要I/O一致性。它不需要緩存一致性，因為加速器就像一個擴展。你只是向它發送數據。它通常可以擁有自己的內存，也可能與其他芯片共享內存，但它不需要緩存一致性。”

要實現這一點，需要多個片上網絡（NoC）。“專為一致性設計的NoC通常比非一致性NoC開銷更大，”Posner說道。 “它們之間可能存在某種聯系，但這種聯系本質上是不連貫的，因為一方本身就缺乏連貫性。”

圖 4：SoC 可以包含非相干和相干 NoC 的混合

平衡一致性、可編程性和集成性

在multi-die組件中協調數據傳輸對可編程性和系統發現能力提出了更高的要求。

片上網絡 (NoC) 可以幫助chiplet在封裝內相互發現。“在chiplet架構中，所有芯片可能都相同，位于同一芯片上，也就是同一塊硅片上，但它可能單獨封裝在一個封裝中，”Baya 公司的 Orthner 說道。“它可能與四個其他chiplet組成陣列封裝在一個封裝中。它也可能垂直堆疊在另一個封裝中。因此，現在就出現了一個有趣的問題：當系統首次啟動時，chiplet如何相互發現？它們如何在封裝內相互識別？以及它們各自的位置？最終，你需要更高程度的可編程性。”

啟動時，系統需要一個管理代理。 Orthner 表示：“它會進來告訴用戶，‘如果你要查找這部分進程，就必須將流量發送到芯片的北側，因為它們就在那里——除非你就是位于北側的chiplet，那樣的話你就必須將流量發送到南側。’最終，你需要喚醒系統，進行通信，發現并重新配置網絡中的路由，以便不同的chiplet能夠識別相同的目的地，但通過不同的路徑。”

堆疊芯片配置帶來了更多網絡挑戰。“芯片中包含不同供應商的產品，你該如何管理不同類型的部件，并確定它們與系統的集成程度？” Keysight EDA 高速數字設計部門負責人 Hee Soo Lee 說道。 “這些挑戰使得網絡和I/O變得復雜。采用堆疊式芯片配置后，散熱和機械問題的管理將比電氣問題更為重要。所有這些系統都受到市場驅動，尤其是數據中心人工智能工作負載對數據日益增長的需求。”

優化功耗、性能和面積 (PPA)

無論相干網絡還是非相干網絡，芯片設計都可以采用自頂向下的方法考慮多個片上網絡 (NoC)。

“假設主層有兩個片上網絡，頂層網絡連接所有子系統，”Cadence 公司的 Posner 說道。“在這些網絡之下，通常還有芯片上的局部網絡。甚至可能有多個網絡——一個用于低帶寬、低性能的 I/O 外設，另一個用于高帶寬外設。你需要根據所連接的網絡定制你的片上網絡，并根據其連接的網絡配置功耗、性能和面積 (PPA)。你需要了解這種層級結構，因為所有這些都需要進行控制。”

人工智能驅動的 EDA 技術正在幫助解決 PPA 方面的權衡問題。 ChipAgents 的 Wang 指出：“工具正朝著完全自主的多代理工作流操作系統發展，該系統能夠從規范到芯片進行推理，并提供實時設計質量反饋、PPA 優化和跨領域協同設計。”

在大型高性能 SoC 中，設計人員通常會創建多個配置。Baya 的 Orthner 表示：“通常，他們希望配置網絡與相干數據路徑和主非相干數據路徑分離，而且配置的吞吐量相當低。它是控制平面。它需要讀取寄存器、檢查系統性能，可能還需要管理一些電源控制操作，例如關閉設備的部分功能然后再重新開啟。這通常也通過一個獨立的網絡來實現。它使用的協議與數據流網絡中的協議相同，但規模要小得多。你希望能夠在不影響主數據流量（例如，占用部分網絡帶寬）的情況下訪問它。”

地理位置或拓撲結構的差異也促使人們需要獨立的片上網絡 (NoC)。 “芯片的西側可能有一組計算核心，”Orthner說道，“芯片的東側可能有另一組計算核心，而對于主要數據路徑來說，它們之間不需要通信，因此你可以將它們分別實現為一個西側網絡、一個東側網絡，以及一個將它們全部連接起來的第三個網絡。”

內存需求迫使人們做出新的網絡設計決策，以實現高性能系統。“即使它們在地理位置上相同，人們也會將一半的內存空間稱為‘偶數’網絡，另一半稱為‘奇數’網絡，這樣就可以在不影響系統性能的情況下，讓兩倍的數據在系統中流動，”Orthner解釋道。 “構建不同邏輯網絡的方法有很多種。設計芯片時，你會想到‘這是片上網絡（NoC），這是它所代表的區域’。然后，物理設計工程師需要將所有組件放置在這個矩形區域內，并確保時序符合要求。如果你使用不同的工具，或者用同一個工具在不同的項目中構建不同的NoC，最終會得到大量邏輯，這些邏輯在層級結構中的位置各不相同，并且彼此重疊，這給物理設計人員帶來了很大的困難。”

這些不同的網絡構建方法凸顯了現代芯片設計的復雜性，尤其是在物理和邏輯需求日益分化的情況下。為了應對這些挑戰并保持效率，設計人員越來越傾向于尋找能夠將多個NoC無縫集成到單個項目中的統一解決方案。

統一NoC軟件指的是一種管理多個NoC的整體項目的方法，而不是將所有數據合并到一個NoC中。 “當我們談到統一網絡時，我們指的是你可以用一個設計、一個頂層項目、一個理念來涵蓋路由器、邏輯電路、各種走線、定位以及其他所有方面，”Orthner解釋道。“在這個整體網絡設計中，我們保持所有小型網絡的獨立性。例如，如果你比較相干網絡和非相干網絡，你可以說：‘我對我的流量足夠了解，所以我希望我的非相干流量和相干流量在邏輯上是分離的，但仍然使用細線。’這在如今需要優化面積、成本和其他因素時，是一項非常強大的功能。你可以運行一個工具，該工具可以涵蓋所有并行運行的不同網絡，并允許它們在系統設計者的控制下共享資源。”

隨著芯片復雜性的不斷增加，如何將這些統一片上網絡（NoC）策略應用于更大的系統架構變得越來越重要。為了彌合片上網絡與更廣泛的基礎設施之間的差距，設計人員還必須考慮如何將這些概念擴展到數據中心級別。

數據中心層級結構

從數據中心的角度來看待片上網絡 (NoC)，會引出幾個基本問題。機架之間如何通信？機架內的卡之間如何通信？卡上的芯片之間如何交互？最后，chiplet之間如何通信？

回答這些問題可以構建數據中心的自頂向下視圖，從而有助于建立眾多 NoC 之間的層級結構。“頂層實際上是數據中心層，但要從數據開始，因為此時整個數據中心就相當于一臺計算機，”Baya Systems 的首席解決方案架構師 Saurabh Gayen 表示。“你需要確保了解機架的組織方式，數據如何在橫向擴展域中流動，然后進入縱向擴展域，再向下層級地向下，經過特定的封裝層級，進入chiplet層級等等。你必須創建這種自頂向下的視圖，因為它定義了層級設計以及如何對組件進行分組。”

雖然構建許多松散連接的小型組件更容易，但這并非最佳方案。“你需要更密集、更緊湊、層級更小、結構更扁平、性能更高的組件，這些組件緊密耦合，并以層級結構組織在一起，”Gayen說道。“你不能靠大量的網絡來作弊。過去的數據中心或許可以做到這一點。我們會看到更多的標量設計，而人工智能模型的發展也因此停滯不前。現在，作為一個行業，我們下定決心，‘是的，我們要全力以赴，讓我們的層級結構更扁平、性能更高、密度更大。’”

這些層級概念同樣適用于設計人員深入到封裝和芯片層面。“你需要采用自上而下的視角，”Gayen說道。 “我們不想采用自下而上的思路，比如‘這里有一個片上網絡（NoC），這里有一個片上網絡（NoC），這里有一個片上網絡（NoC），我們該如何將它們組合起來？’最好的方法是自上而下地審視整個系統，以及如何將其分解成更小的單元。此外，特定芯片上的NoC之間以及它們之間（芯片間）的通信方式也存在差異。性能優化是自上而下的，但工程實踐卻是自下而上的，因此必須在層級上平衡這兩者。”

正確的數據管理取決于子NoC的層級結構。“就芯片設計中的層級結構而言，如何構建子NoC，NoC之間如何通信，以及它們的邊界是什么？”Orthner說道。 “從物理設計到將晶體管放置在硅片上，每一個環節都必須做到精準無誤，并充分利用預先構思的層級結構，以最大限度地減少后續工作量。在設計片上網絡（NoC）框架時，我們始終將層級結構視為首要考慮因素。”

對于性能分析而言，關注頂層尤為重要。“與其僅僅考慮內存接口的速度，不如從全局數據流的角度來思考。”Orthner說道，“誰需要與誰通信？為什么？數據將流向何處？幾乎總是會有多個數據源同時運行，那么它們之間會如何相互影響？”

結論

過去，NoC在芯片設計中往往被視為事后考慮，直到物理布局接近完成才進行處理。而如今，設計人員必須在開發的早期階段就將NoC集成到芯片設計中，確保通信基礎設施與處理單元同步優化。這種方法能夠提升性能、能效和可擴展性，使復雜系統獲得更佳的整體效果。

“實踐中正在發生的變化是優先級的重新調整，”Arteris 公司的 Nightingale 表示。“數據傳輸如今已成為與計算和內存同等重要的設計要素，尤其是在系統從單芯片擴展到chiplet和分布式架構的過程中。領先的團隊正在更早地投資于能夠提供可見性、服務質量保證和長期可擴展性的架構，而不是將互連視為后期優化。”

為了跟上不斷發展的系統架構，業界必須優先開發穩健、標準化的安全協議，并在設計初期就投資于可擴展的互連解決方案。供應鏈各環節的協作對于確保信任、互操作性和抵御新興威脅的能力至關重要，尤其是在chiplet和multi-die集成日益普及的情況下。展望未來，持續的研究、跨廠商的合作以及自適應網絡拓撲的采用對于滿足下一代系統對安全、高性能數據傳輸的需求至關重要。

（來源：編譯自semienginerring）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4393內容，歡迎關注。

加星標??第一時間看推送

求推薦