大數(shù)據(jù)死后，哪管它洪水滔天！！

關注飛總聊IT，了解IT行業(yè)的方方面面。

今年是2025年，我這個公眾號，寫大數(shù)據(jù)起家的，已經很久沒寫大數(shù)據(jù)了。

我覺得目前的環(huán)境，傳統(tǒng)意義上的大數(shù)據(jù)，說已經死了，一點都不為過。

因此，在大數(shù)據(jù)上混日子的人，比如我，現(xiàn)在也就沒什么光明前途了，除非換賽道。

為什么說大數(shù)據(jù)死了呢？以下是一家之言。

第一，大數(shù)據(jù)不是大部分企業(yè)的剛需。

大數(shù)據(jù)行業(yè)剛開始的時候，先行者比如谷歌，有一個大餅，說我們以后數(shù)據(jù)會不斷的隨著業(yè)務規(guī)模和分析使用年限的增加而增長。

但現(xiàn)實而言，現(xiàn)在的企業(yè)里面，只要不涉及視頻什么的，純文本意義上的大數(shù)據(jù)，絕大部分企業(yè)，都沒那么大的增長。而且，人們很少去看很久很久以前的數(shù)據(jù)集。

比如說廣告行業(yè)，有誰去挖掘10年以前的數(shù)據(jù)來更新現(xiàn)在的模型呢？

所以，大部分企業(yè)，其實從來都不需要大數(shù)據(jù)。很多企業(yè)的數(shù)據(jù)規(guī)模，也不大。

第二，大數(shù)據(jù)生態(tài)圈丟了很多領地。

大數(shù)據(jù)剛誕生的時候，我們可以認為是私有云的時代，存儲是大數(shù)據(jù)里面很重要的一部分，GFS是谷歌三駕馬車之一。

但是現(xiàn)在呢？MapReduce勉強算大數(shù)據(jù)陣營，雖然它被更先進的技術取代了。GFS這個存儲層，今天早就被公有云更廉價更好用的對象存儲替代了。對象存儲就和大數(shù)據(jù)沒半毛錢關系了。

至于BigTable作為三駕馬車之一，現(xiàn)在看，最多屬于NoSQL，和大數(shù)據(jù)沒半毛錢關系。所以以前大家說的谷歌三架馬車奠定大數(shù)據(jù)基礎，今天回頭看，只有半架馬車了--MapReduce了。

同樣的，在虛擬機時代，YARN作為資源調度管理器，一開始就是在大數(shù)據(jù)背景下誕生的。但是今天呢？K8S本身和在K8S上的各種資源管理調度框架，和大數(shù)據(jù)有半毛錢關系嗎？

所以大數(shù)據(jù)發(fā)展到今天，說白了，剩下的領地無非就是lakehouse里面的ETL（Spark)和query（Trino）。其他的，都算不上純粹的大數(shù)據(jù)。

就連以前寄予厚望的Flink，伴隨Spark對streaming的native support，也沒剩下多少了。

第三，這10多年硬件的發(fā)展，也改變了生態(tài)。

2008年的單機，和2025年的單機，性能完全不一樣。現(xiàn)在，100多GB的內存，1TB的SSD，不是夢。網絡的發(fā)展，也同理。

這就意味著原來可能上千臺機器，需要寫磁盤的操作，今天只需要上百臺機器，幾十臺機器就可以了。

大數(shù)據(jù)引擎的很多東西，當年看起來各種優(yōu)化都有道理，越優(yōu)化越好，現(xiàn)在就不一樣了。以前的Impala用c++寫，按理來說是個很不錯的架構，怎么就敗給了Java寫的Trino呢？

在Trino還是Presto的時候，一分為二，那個依然叫著Presto的Meta分支，要用c++取代Java的實現(xiàn)，實際上來說，重要嗎？似乎在目前單機性能足夠強，單機內存足夠大，JVM的garbage collection越來越牛逼的今天，也越來越不重要了。

所以傳統(tǒng)意義上的大數(shù)據(jù)，為什么死得差不多了。無非，客戶數(shù)據(jù)的規(guī)模和預測的畫餅天差地別，原本屬于大數(shù)據(jù)的大盤領地不斷丟失，而新技術尤其新硬件的發(fā)展，又使得單機性能規(guī)格各方面都比15年前領先了不知道幾個量級。

所以，大數(shù)據(jù)自然是死了。

但是有人說了，Lakehouse死了，Lakebase活了。我就不點名了，大家都知道這是誰說的。畢竟，現(xiàn)在AI火了，agent的大餅又出來了。

某公司花2B收購一家serverless Postgres，就換來了100B market cap的新融資，這肯定是一筆劃算的買賣。

但是這也給所有做大數(shù)據(jù)的人一個啟示。傳統(tǒng)意義的大數(shù)據(jù)的餅，證明是個假餅，已經死了。但是Agent和AI世界里面的新的“大數(shù)據(jù)”，又可以開始新一輪的畫餅了。

當然，大數(shù)據(jù)的名字也不好聽了，所以我們必須換個新馬甲新名字。所有做大數(shù)據(jù)的人，都應該去做Agent用的數(shù)據(jù)處理系統(tǒng)，而不是人用的數(shù)據(jù)處理系統(tǒng)。

畢竟，我們接下來的餅畫的是AI的餅，是Agent的餅。

至于10年15年以后往回看，AI的落地，會不會如同今天我們吹的那么美好，還是和大數(shù)據(jù)一樣，一地雞毛，那我就不知道了。

但是，我覺得索羅斯的名言是對的，管它是不是泡泡，都要ride the wave。跟著潮流走，一個餅破了，還有另外一個餅。

套路還是那些個套路，人還是那些個人。昨天大家都是大數(shù)據(jù)的人才，今天大家都為Agent事業(yè)畫餅添磚加瓦。懂不懂Agent，都是專家。

怎么不是專家了？誰給你膽子說不是專家，是騙子的。

昨天我們都是大數(shù)據(jù)人，今天我們都是為Agent事業(yè)而奮斗的專家。

與所有大數(shù)據(jù)從業(yè)者共勉。不破不立，破了才能立起來。管他趨勢的盡頭是不是洪水滔天，先享受再說。

我們要學習路易十六的名言：我死后，哪管他洪水滔天。此處應有打賞。

推薦飛總知識星球，在私域場合里暢所欲言，聊聊職場發(fā)展的事情，和飛總提問交流，這么低的價格不會一直保留，機會難得，一定不要錯過這個的機會。