公眾號記得加星標(biāo)??,第一時(shí)間看推送不會錯(cuò)過。
硅光子學(xué)正在成為高性能計(jì)算系統(tǒng)中GPU和CPU之間海量數(shù)據(jù)傳輸?shù)囊环N方式,但如果完全依靠光和光子學(xué)進(jìn)行計(jì)算呢?這正是Lumai公司開發(fā)的光學(xué)計(jì)算技術(shù)的核心所在。該公司今天發(fā)布了其首款服務(wù)器,名為Iris。
Lumai公司源自牛津大學(xué),該大學(xué)率先提出了一種利用光進(jìn)行數(shù)據(jù)處理的新方法。該公司的三維光學(xué)技術(shù)結(jié)合了激光和薄膜,將數(shù)據(jù)編碼為光,然后對其進(jìn)行一系列計(jì)算。
Lumai產(chǎn)品負(fù)責(zé)人菲爾·伯爾表示:“人工智能的核心在于向量-矩陣或矩陣-矩陣的乘法。我們所做的就是將輸入的向量編碼到光中。通過透鏡將向量傳遞進(jìn)來,我們實(shí)際上是在光中免費(fèi)復(fù)制向量。然后,我們將該向量復(fù)制到矩陣上。因此,我們將矩陣值編碼到薄膜的透射率中。”
他表示,這項(xiàng)光學(xué)技術(shù)使用戶能夠進(jìn)行與TPU和GPU相同的計(jì)算。Lumai技術(shù)的優(yōu)勢之一(除了節(jié)能之外)是能夠計(jì)算高達(dá)2048×2048的超大型矩陣。
“這意味著它非常高效,速度非常快,”伯爾說。“如果用硬件來實(shí)現(xiàn),你無法處理這么大的矩陣。你必須把它分割成更小的矩陣。然后你還得移動(dòng)這些數(shù)據(jù)來重新構(gòu)建矩陣,這非常浪費(fèi)資源。所以這就是(Lumai 的方法)真正高效的原因。”
Lumai發(fā)布了三款I(lǐng)ris系列服務(wù)器,分別是Nova、Aura和Tetra。Nova服務(wù)器現(xiàn)已面向超大規(guī)模數(shù)據(jù)中心、新型云服務(wù)商、企業(yè)和研究機(jī)構(gòu)開放評估。它采用混合處理器,可運(yùn)行Llama 8B和70B架構(gòu)。Lumai的量產(chǎn)產(chǎn)品Aura計(jì)劃于2028年上市,Tetra則暫定于2029年推出。
Lumai公司表示,其技術(shù)在執(zhí)行相同的AI推理工作負(fù)載矩陣乘法運(yùn)算時(shí),與基于GPU的系統(tǒng)相比,能耗降低90%。這得益于3D光學(xué)計(jì)算獨(dú)特的擴(kuò)展特性。
“從數(shù)字信號到光信號的轉(zhuǎn)換是有成本的,”伯爾說。“這種轉(zhuǎn)換的功耗與信號向量的寬度成正比,而性能則與寬度的平方成正比。所以本質(zhì)上,隨著矩陣尺寸的增大,效率也會提高。”
Lumai的光計(jì)算機(jī)利用了許多目前數(shù)據(jù)中心可用的商用現(xiàn)成技術(shù),包括激光器。Burr表示,用于硅光子學(xué)的激光器類型與Lumai技術(shù)的計(jì)算所需的激光器類型相同。
“所以基本上已經(jīng)實(shí)現(xiàn)了量產(chǎn),”他說。“我們不需要研發(fā)任何新材料。因此,實(shí)際上,批量生產(chǎn)的成本會比英偉達(dá)的GPU更低。”
同樣,用于編程和運(yùn)行 Lumai 服務(wù)器的軟件棧并不像光學(xué)計(jì)算那樣復(fù)雜。Lumai 可以接入現(xiàn)有的數(shù)據(jù)流,并且可以使用 PyTorch 等框架開發(fā)應(yīng)用程序。他表示,Lumai 開發(fā)了特定于硬件的內(nèi)核,使開發(fā)人員能夠使用 PyTorch 對 Iris 服務(wù)器進(jìn)行編程。
人工智能巨大的能源需求正威脅著它尚未完全發(fā)展起來就可能夭折。據(jù)彭博社報(bào)道,今年美國近一半的數(shù)據(jù)中心項(xiàng)目將被推遲或取消,電力和電氣元件(例如變壓器)的供應(yīng)不足被認(rèn)為是主要原因。
“人們?nèi)绱岁P(guān)注這個(gè)問題的部分原因是,他們意識到硅芯片的微縮技術(shù)已經(jīng)基本停滯了,”伯爾說。“沒錯(cuò),你可以縮小制程節(jié)點(diǎn),但收益已經(jīng)大大降低,而且本質(zhì)上,為了獲得更高的性能,你需要付出更高的功耗和更復(fù)雜的工藝。封裝尺寸會越來越大,發(fā)熱量也會越來越高。因此,他們審視了傳統(tǒng)數(shù)字系統(tǒng)的發(fā)展路線圖和他們自身的軟件需求路線圖,發(fā)現(xiàn)兩者并不匹配。所以他們意識到需要尋找新的技術(shù)。”
Lumai 將其技術(shù)定位為在不超出能源預(yù)算的情況下,為新一代智能體人工智能提供動(dòng)力。具體而言,它瞄準(zhǔn)的是人工智能推理的預(yù)填充階段,該階段通常受計(jì)算資源限制,需要使用能夠快速處理大量數(shù)據(jù)的強(qiáng)大處理器,例如 GPU 和 TPU。相比之下,解碼階段通常受內(nèi)存限制。
“隨著行業(yè)向推理時(shí)代轉(zhuǎn)型,我們也同時(shí)邁入了后硅時(shí)代,”Lumai科技首席執(zhí)行官兼聯(lián)合創(chuàng)始人郭先新博士表示,“通過將計(jì)算范式從電子轉(zhuǎn)移到光子,Lumai科技能夠在顯著節(jié)能的同時(shí),實(shí)現(xiàn)性能數(shù)量級的提升。”
(來源:編譯自HPCWIRED)
*免責(zé)聲明:本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn),半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn),不代表半導(dǎo)體行業(yè)觀察對該觀點(diǎn)贊同或支持,如果有任何異議,歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。
今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4391內(nèi)容,歡迎關(guān)注。
加星標(biāo)??第一時(shí)間看推送
求推薦
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.