最近,AI研究員Aran Komatsuzaki發(fā)了一條推特:The non-English tax is real.
![]()
然后附上了一張圖。
他做了什么測試?
把Sutton的《Bitter Lesson》這篇文章,翻譯成多種語言,統(tǒng)計各大模型處理不同語言時,token消耗量相對英文的倍數(shù)。
英文基準(zhǔn)是1.0x,數(shù)字越高,同樣內(nèi)容花的錢越多。
![]()
現(xiàn)在最火的Anthropic(也就是Claude):中文1.65x,日文1.94x,韓文2.59x,阿拉伯文2.74x,印地語3.11x。
也就是說:一個印度用戶用Claude處理同等信息量,花的錢是美國用戶的三倍多。
OpenAI(ChatGPT)相對克制:中文1.15x,韓文1.40x,印地語1.37x。
貴,但沒貴到離譜。
國內(nèi)模型呢?Qwen 0.85x,DeepSeek V4 0.87x,Kimi 0.81x——全部小于1,處理中文比處理英文還省。
![]()
同一套內(nèi)容,美國模型和中國模型的計費(fèi)結(jié)果,可以差出一倍。
為什么會有這個差距?
現(xiàn)在表面上,各家模型的定價是完全一樣的——每百萬token多少錢,全球統(tǒng)一,沒有任何顯性價格歧視,無論你在北京買和在紐約買token,單價都是相同的。
差距藏在分詞邏輯里。
大模型處理文本,靠的是tokenizer把文字切成碎片。
英文和這些模型的詞表高度匹配,一個詞往往就是一個token。
中文、阿拉伯文、hindi得切更多碎片才能表達(dá)同樣的意思。
價格沒變,但你買到的有效內(nèi)容量,天然少一截。這不是bug,是tokenizer設(shè)計本身的結(jié)構(gòu)性結(jié)果——誰訓(xùn)練的模型,詞表就向誰的語言傾斜。
這筆錢,現(xiàn)在還不起眼。
現(xiàn)在大多數(shù)人把AI當(dāng)搜索引擎用,偶爾問幾個問題,多花幾個token無所謂。
但再往后走——AI全面嵌入現(xiàn)有工作流程,token消耗會變成企業(yè)的常規(guī)運(yùn)營成本,就像電費(fèi)、水費(fèi)、燃?xì)赓M(fèi),每個月都要付的那種。
到那時,哪個國家的企業(yè)能用更低的token成本跑AI,哪個國家就在這場產(chǎn)業(yè)浪潮里拿到了系統(tǒng)性的成本優(yōu)勢。
這不是一筆小錢,是整個產(chǎn)業(yè)層面的競爭力差距。
說到這里,不得不和懂王的關(guān)稅比一下。
關(guān)稅是明牌博弈:每加一輪,全球媒體炸鍋,受影響品類全部曝光,各國政府表態(tài),企業(yè)有反制,WTO有框架,至少大家都知道發(fā)生了什么,還能上桌談。
token稅完全不同。沒有公告,沒有談判,用戶只看到賬單上的token單價,壓根不知道自己消耗的token數(shù)量從一開始就比別人多。
鵝不叫,毛照拔。
掌握大模型的國家,等于掌握了一種新型征稅權(quán)——征的不是貨物,是算力使用權(quán),而且沒有國界,只要你用這個模型,稅就一直在收。
這比懂王的關(guān)稅,不知道高明到哪里去了。
所以LLM的卡位,不只是面子問題。
當(dāng)token消費(fèi)變成水電一樣的基礎(chǔ)設(shè)施賬單,這個流量怎么計算,由誰制定規(guī)則,就直接決定了非英語國家企業(yè)的AI成本底線。
DeepSeek V4把中文token消耗壓到0.87x,Qwen壓到0.85x,是在這套定價結(jié)構(gòu)里,給中文用戶留出來的成本空間。
今天寒武紀(jì)和芯原雙雙20cm漲停,表面是AI芯片國產(chǎn)化的邏輯。
![]()
但底下那層更具體:算力、模型、分詞,三件事缺一件,隱形稅就斷不了根。
關(guān)稅戰(zhàn)打的是貨物流動。token戰(zhàn)打的是信息流動的定價權(quán)。
后者更深,更久,也更難察覺。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.