“內(nèi)存墻”這個詞一出來,視覺畫面就有了:數(shù)據(jù)在處理器和內(nèi)存之間堵成一堵墻,動彈不得。搞AI的人現(xiàn)在天天撞這堵墻。傳統(tǒng)馮·諾依曼架構(gòu)里,芯片每算一步,都得把數(shù)據(jù)從內(nèi)存搬進(jìn)搬出,速度、功耗全耗在搬運上了。
這毛病平時靠塞更大緩存、加快總線還能忍,但AI一進(jìn)場就狼狽了。大模型要實時吃進(jìn)海量矩陣運算,內(nèi)存和算力之間的帶寬,怎么補(bǔ)都像用吸管抽游泳池——何止慢,簡直燙手。學(xué)術(shù)界專門給它起名“內(nèi)存墻”,也就是內(nèi)存帶寬跟不上處理器的實時胃口,成倍抬高延遲。
![]()
既然搬運這么蠢,能不能就地干活?科學(xué)家扭頭看人腦:神經(jīng)元和突觸一體化,存算不分家。于是“存內(nèi)計算”上場,數(shù)據(jù)待在內(nèi)存里不動,電路自己做完乘加。再激進(jìn)一點,直接按人腦脈沖模式設(shè)計芯片,這就是神經(jīng)形態(tài)芯片,該亮?xí)r才亮,平時零功耗。
說白了,不是現(xiàn)在的電腦變慢了,是搬運活兒本身配不上AI的野心。把計算嵌進(jìn)內(nèi)存里,把墻拆了,也許AI才不再死等帶寬發(fā)善心。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.