手機AI芯片走過8年，潛力為何仍被白白浪費？

八年前，我們第一次見識到了手機里的神經(jīng)網(wǎng)絡處理器（NPU），你還記得2017年華為Mate10的麒麟970吧，它比上不足（蘋果A11、驍龍835），比下有余（驍龍660、聯(lián)發(fā)科P60），卻是世界上第一款集成NPU的移動SoC。從此，“手機本地也能跑AI”成為一種可能。

老實說，這八年變化挺大的，蘋果和三星終于也開始搞端側(cè)AI了，雖說效果有好有壞；谷歌則將自家數(shù)據(jù)中心的張量處理器（TPU）運用得愈發(fā)成熟，并在Tensor芯片中借鑒了TPU 的AI計算核心理念。從ARM、高通，到蘋果、三星，所有大科技公司在發(fā)布新產(chǎn)品時都要提那么一句：AI是智能手機未來的核心。

但實際應用下來，移動AI總感覺施展不開：手機本地能用到的AI功能就那么些：基本是語音助手、拍照修圖、即時翻譯老三樣，應用開發(fā)者想搞出點新東西卻困難重重。這一現(xiàn)狀，NPU得承擔一部分責任，不是它不好用，而是從未真正開放給開發(fā)者作為平臺使用。這就讓人有些納悶了：手機里這塊叫NPU的芯片，到底能用來干什么？

先搞懂：NPU到底是什么？

就像手機里負責跑APP的CPU、玩游戲時渲染畫面的GPU，還有專門處理拍照錄像數(shù)據(jù)的ISP一樣，NPU也是專用計算單元——專門用來跑AI任務，追求既快又省電。如今不只是手機芯片，連英特爾和AMD的移動處理器同樣集成了專用NPU，盡管與手機SoC的NPU功能側(cè)重不同。

具體來說，NPU擅長處理小體量的數(shù)據(jù)（比如4位甚至2位的精簡模型）、特殊的內(nèi)存使用模式，還有一大堆數(shù)學運算（比如融合乘加、融合乘積累加這些）。移動NPU之所以能流行，就是因為有些AI任務，傳統(tǒng)處理器處理起來效率又低又費電，它卻能更高效搞定。

當然，早在2017年NPU初現(xiàn)時就有一種反對意見：跑AI任務不一定非得要NPU，很多簡單的小算法，就算是性能一般的CPU也能扛；而那些支撐大語言模型的數(shù)據(jù)中心，用的硬件更像英偉達顯卡，跟手機里的NPU不是一回事。

但有了專用NPU，就能流暢跑那些CPU、GPU不擅長的模型，而且通常更省電。這種分工合作的計算方式，雖然會讓芯片設計更復雜、占更多空間，但能在性能和耗電之間找到平衡，這對手機太重要了，沒人想讓AI功能把電池很快耗光吧？

AI不是本應在顯卡上跑嗎？

關(guān)注內(nèi)存漲價的朋友都知道，AI數(shù)據(jù)中心特別需要高性能的AI和GPU加速器（尤其是英偉達的），而配套顯存和內(nèi)存都是海量的：單臺AI訓練/推理服務器需配置8張H200算力卡，其整合的顯存容量可達1.2TB，同時配備最高8TB的系統(tǒng)內(nèi)存，以滿足高負載算力需求，這就是內(nèi)存不夠用、價格飛漲的主要原因。

英偉達的CUDA架構(gòu)之所以能高效跑AI和圖形任務，核心在于其具備大規(guī)模并行計算和資源調(diào)度能力。它的張量核心能搞定各種數(shù)據(jù)格式的復雜數(shù)學運算，包括現(xiàn)在AI模型常用的精簡數(shù)據(jù)格式。

雖然現(xiàn)在手機里的GPU，比如ARM的Mali、高通的Adreno，也能處理16位甚至8位的數(shù)據(jù)，但遇到4位及以下的超精簡模型時，效率就差了很多。而且手機GPU就算理論上支持這些運算，也不是專門為AI設計的，AI只是它們的副業(yè)。

手機GPU首先要考慮省電，跟桌面端那些性能超強的顯卡不一樣。它們使用的一些技術(shù)，比如瓦片渲染（Tiled Rendering）、分片執(zhí)行（Shard Execution），不太適合長時間高強度的計算任務。手機GPU當然能跑AI，有些場景下也還行，但遇到專門的AI運算，還是有更省電的選擇。

軟件開發(fā)也很關(guān)鍵。英偉達的CUDA會把芯片的核心能力開放給開發(fā)者，讓他們能深度優(yōu)化AI任務的運行。但手機平臺沒有這么底層的訪問權(quán)限，開發(fā)者和手機廠商只能用高通神經(jīng)處理SDK、ARM計算庫這些工具，而且大多是某家廠商專屬的，通用性不強。

這就是移動AI開發(fā)的大難題：桌面端開發(fā)基本都圍繞CUDA轉(zhuǎn)（雖然AMD的ROCm也在慢慢起來），但手機里的NPU五花八門——谷歌的Tensor、驍龍的Hexagon、蘋果的神經(jīng)網(wǎng)絡引擎，每種都有自己的規(guī)矩和開發(fā)工具，開發(fā)者很難兼顧。

NPU未解決“平臺不統(tǒng)一”的麻煩

現(xiàn)在幾乎所有手機芯片都集成了NPU，設計它的初衷是高效處理小數(shù)據(jù)、復雜運算和特殊內(nèi)存模式，還不用大改GPU的架構(gòu)。但獨立NPU也帶來了新問題，尤其是第三方開發(fā)者想做適配的時候。

雖然蘋果、驍龍、聯(lián)發(fā)科這些芯片都提供了開發(fā)工具，但開發(fā)者得為每個平臺單獨做適配優(yōu)化。就算是谷歌自己的Pixel手機，也沒給開發(fā)者提供方便的通用訪問權(quán)限：Tensor ML SDK還在測試階段，能不能正式開放還不一定。開發(fā)者只能通過谷歌的ML Kit用一些高層級的Gemini Nano功能，想深入用到底層硬件，根本做不到。

更糟的是，三星已經(jīng)停止了自家Neural SDK的維護和更新，谷歌之前搞的通用Android NNAPI也充滿了局限性。這就導致移動AI開發(fā)變成了一團亂麻，各種規(guī)格、各種廢棄的工具，第三方想高效做個移動AI應用太難了。每家廠商自己搞的優(yōu)化方案，根本沒法推廣開來，最后開發(fā)者能用的，還是谷歌這些大廠掌控的云端AI或者他們自己做的精簡模型。

轉(zhuǎn)機：跨平臺工具LiteRT來了

還好，谷歌2024年推出了LiteRT（其實是Tensor Flow Lite框架的升級組件），它能統(tǒng)一支持CPU、GPU和各家廠商的NPU（目前支持高通、聯(lián)發(fā)科）。LiteRT的設計初衷是在運行時最大限度地利用硬件加速，讓軟件自行選擇最合適的方法，從而解決了NNAPI的最大缺陷——NNAPI本來想讓開發(fā)者不用顧忌不同廠商的硬件差異，結(jié)果只統(tǒng)一了接口，實際運行效果還是看廠商的驅(qū)動；而LiteRT自己掌控運行過程，就是想把這個漏洞補上。

有意思的是，LiteRT不僅能在Android、iOS上使用，嵌入式設備甚至桌面電腦都能用，全程在設備本地運行AI推理，看得出來谷歌想把它做成通用的精簡模型運行工具。不過和桌面端的AI框架不一樣，LiteRT是提前設定好的，精度、精簡方式這些都定死了，這樣才能在手機這種資源有限的設備上穩(wěn)定運行。

雖然LiteRT解決了不同廠商NPU不兼容的問題，但結(jié)合現(xiàn)在的技術(shù)發(fā)展，我們?nèi)孕枰伎迹篘PU以后還能像現(xiàn)在這樣重要嗎？

比如ARM最新的C1系列CPU，增加了SME2擴展指令，一些AI任務能提速4倍，而且很多開發(fā)框架都支持，不用專門的工具。另外，手機GPU的架構(gòu)也可能會改，變得更適合跑AI任務，說不定以后就用不到專門的NPU了。聽說三星也正在搞專門優(yōu)化AI的GPU，未來最早可能在Galaxy S28系列上用；Imagination的E系列GPU也是針對AI加速設計的，支持FP8和INT8精度，說不定Pixel以后也會用這款芯片。

而LiteRT正好能配合這些技術(shù)進步，開發(fā)者不用再操心硬件怎么變。CPU對復雜指令的支持越來越好，以后跑AI任務也會越來越高效，不再是備胎；而那些對AI優(yōu)化更好的GPU，說不定以后會取代NPU成為默認的AI加速器，這些變化LiteRT都能應對。這么看，LiteRT有點像移動端的“CUDA”，它不是開放硬件，而是把不同硬件的差異抹平了，讓開發(fā)者不用再糾結(jié)。

NPU不會消失，但AI生態(tài)終于有點盼頭了

專用的移動NPU短期內(nèi)肯定不會消失，但最開始那種“圍著NPU轉(zhuǎn)、被廠商限制”的端側(cè)AI模式，顯然不是最終形態(tài)。對于大多數(shù)第三方應用來說，CPU和GPU還是會承擔大部分AI任務，尤其是它們對AI運算的支持越來越好了。

如果LiteRT能成功，開發(fā)者就不用再依賴某家芯片廠商的路線圖，也能開發(fā)端側(cè)AI應用了。盡管如此，設備端AI想擁有一個充滿活力的第三方生態(tài)，可能還有一段路要走，但我們現(xiàn)在總算朝著這個方向邁進了一步。