北京
“內(nèi)存墻”這個詞一出來，視覺畫面就有了：數(shù)據(jù)在處理器和內(nèi)存之間堵成一堵墻，動彈不得。搞AI的人現(xiàn)在天天撞這堵墻。傳統(tǒng)馮·諾依曼架構(gòu)里，芯片每算一步，都得把數(shù)據(jù)從內(nèi)存搬進(jìn)搬出，速度、功耗全耗在搬運上了。
這毛病平時靠塞更大緩存、加快總線還能忍，但AI一進(jìn)場就狼狽了。大模型要實時吃進(jìn)海量矩陣運算，內(nèi)存和算力之間的帶寬，怎么補(bǔ)都像用吸管抽游泳池——何止慢，簡直燙手。學(xué)術(shù)界專門給它起名“內(nèi)存墻”，也就是內(nèi)存帶寬跟不上處理器的實時胃口，成倍抬高延遲。
既然搬運這么蠢，能不能就地干活？科學(xué)家扭頭看人腦：神經(jīng)元和突觸一體化，存算不分家。于是“存內(nèi)計算”上場，數(shù)據(jù)待在內(nèi)存里不動，電路自己做完乘加。再激進(jìn)一點，直接按人腦脈沖模式設(shè)計芯片，這就是神經(jīng)形態(tài)芯片，該亮?xí)r才亮，平時零功耗。
說白了，不是現(xiàn)在的電腦變慢了，是搬運活兒本身配不上AI的野心。把計算嵌進(jìn)內(nèi)存里，把墻拆了，也許AI才不再死等帶寬發(fā)善心。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
