初創公司，要干掉內存墻

三位曾在Alphabet 旗下Google 和Meta工作的管理人員開發了一種新型服務器，旨在解決如何運行日益龐大和復雜的人工智能模型的問題。

由Ofer Shacham 、Masumi Reynders和Sha Rabii創立的 Majestic Labs AI于 11 月宣布，已從 Bow Wave Capital、Lux Capital、Grove 等投資者處籌集了 1 億美元資金。這三位創始人曾在谷歌工作，負責設計和銷售早期的數據中心和移動設備芯片，之后又在 Meta Reality Labs 組建了定制芯片團隊。

這家初創公司在洛斯阿爾托斯一條不起眼的商業街上一間簡陋的辦公室里辦公，現在表示他們已經設計出可以克服“內存墻”的新芯片。“內存墻”是一種日益普遍的計算瓶頸，它限制了人工智能模型對查詢的響應速度。

Majestic公司推出的新型服務器系統名為Prometheus，搭載了數百顆自主研發的AIU（人工智能處理單元）芯片。該公司創始人表示，這些服務器的內存容量是英偉達等競爭對手GPU的1000倍，使其成為運行擁有數萬億參數的AI模型的理想之選。

Rabii表示，達到這個尺寸閾值后，最高質量的芯片“利用現有基礎設施，在商業上越來越難以實現”。內存不足會導致高性能芯片即使擁有極快的處理速度，也只能閑置，等待從附近的芯片調用額外的內存。

為了解決這個問題，Majestic 的每臺新服務器都能夠擴展到 128 TB 的高速內存，該公司表示，這足以流暢運行具有 5 萬億到 10 萬億個參數的模型，盡管確切的內存量可以根據用戶的需求進行定制。

“這是人工智能處理器首次真正以內存為先進行設計，其所需的內存量足以處理最大的模型，” Majestic 首席執行官 Shacham 在特拉維夫接受視頻采訪時表示，他目前就職于特拉維夫。

智能體人工智能（即利用人工智能技術自主執行軟件編碼等任務的機器人）的興起，導致企業可用的計算資源嚴重短缺。先進芯片的租賃價格大幅上漲，一些人工智能工具的停機時間增加，或被迫限制使用。

市場對能夠快速處理查詢（即推理）且功耗極低的芯片的需求迅速增長。這為 Majestic 和其他數十家硬件和軟件初創公司創造了機遇。

人工智能巨頭們也紛紛加入這場角逐。AMD公司大力宣傳其最新一代芯片在推理方面的卓越性能。去年年底，英偉達斥資200億美元收購了芯片初創公司Groq的技術授權，并挖走了其領導團隊。最近，英偉達又發布了一款搭載Groq芯片的 全新推理服務器。

上周，谷歌云宣布其新一代TPU處理器將采用雙芯片設計，一個芯片專門用于訓練，另一個芯片專門用于推理，重點在于高帶寬內存。另一家推理芯片初創公司Cerebras今年與亞馬遜網絡服務（AWS）達成了一項重要交易，并于4月初提交了IPO 上市申請。

Majestic 的創始人表示，目前市面上沒有任何一款推理解決方案能夠提供足夠的內存容量來處理未來幾年將要開發的大型人工智能模型。Rabii 說，這迫使芯片買家為了獲得足夠的內存，不得不為超出實際需求的處理能力買單。

他說：“這就好比我需要一個新的車庫，而你卻告訴我我必須買一棟新房子。”

未來面臨的一大挑戰是用于制造 Majestic 服務器的內存芯片短缺，大多數制造商預計這種情況至少會持續到明年，甚至更久。Majestic 表示，為了緩解供應緊張的影響，他們只使用所謂的通用 DRAM 芯片，這種芯片比高帶寬內存芯片更易于使用且價格更低。HBM 的生產耗時更長，因為它涉及將多個 DRAM 芯片進行三維堆疊的復雜工藝。

據創始人稱，這家初創公司的秘訣在于其專有的互連技術，該技術使 Majestic 能夠將其處理器連接到巨大的內存容量（每臺服務器超過 100 TB），數據傳輸速度比 HBM 更快，而且無需消耗大量的電力。

Majestic 表示，該公司已與多家客戶達成合作，預計從 2027 年開始，這些客戶將帶來數億美元的收入，但由于交易仍在保密階段，該公司拒絕透露任何客戶名稱。