常熟農商銀行郁敏：TEZ引擎LAKEHOUSE金融級數據中臺重構創新實踐

當前，隨著大數據、云計算、人工智能等技術的飛速發展，金融機構的業務模式、服務方式乃至整個行業生態都在發生深刻變化。數字化轉型已成為金融機構提升競爭力、實現可持續發展的必由之路。在這一過程中，數據作為金融行業的核心資產，其重要性日益凸顯。如何高效地收集、存儲、處理和分析數據，以支撐業務創新、風險管理和決策優化，成為金融機構面臨的重要課題。數據中臺作為連接數據源與業務應用的橋梁，通過提供統一的數據存儲、處理和分析能力，有效解決了數據孤島、數據不一致等問題，成為金融機構數字化轉型的關鍵基礎設施。

常熟農商銀行統計與數據資產部總經理助理郁敏

近日，在“2026金融業數據管理創新研討會暨首屆金融數據管理人年會”上，常熟農商銀行統計與數據資產部總經理助理郁敏，就“TEZ引擎+LAKEHOUSE金融級數據中臺重構創新實踐”這一主題進行了深入分享，不僅展示了常熟農商銀行在數據中臺建設方面的最新成果，也為金融行業的數據管理，特別是中小金融機構的數據創新提供了可供借鑒的經驗和啟示。

金融級數據中臺的演進與挑戰

1.從數據倉庫到數據中臺的轉變

傳統上，金融機構主要依賴數據倉庫進行數據處理和分析。然而，隨著業務的發展和數據的爆炸式增長，數據倉庫在擴展性、靈活性和成本效益等方面逐漸暴露出局限性。為了應對這些挑戰，金融機構開始探索向數據中臺轉型的道路。

數據中臺不僅繼承了數據倉庫的數據處理能力，還通過在數據應用層面引入微服務架構、容器化技術等手段，實現了數據的快速迭代和應用的靈活部署。同時，數據中臺還特別強調數據的共享和復用，通過提供統一的數據接口和服務，降低了數據使用的門檻和成本。

2.金融級數據中臺的特殊要求

與一般行業的數據中臺相比，金融級數據中臺在安全性、穩定性和合規性等方面有著更高的要求。雖然數據中臺通常部署于金融機構的內網環境，但是對于網絡訪問的安全管控，特別是要針對數據泄露風險作出針對性的防范，從而保障客戶信息和數據應用的安全。同時，雖然數據中臺通常不直接面向客戶提供服務，但是隨著監管部門對數據報送要求的提高、業務條線對數據分析驅動營銷/風控/運營的迫切需求，作為數據底座的金融級的數據中臺還需要具備高可用性和災備能力，確保在極端情況下業務能夠連續運行。

此外，隨著監管政策的不斷收緊，金融機構還需要確保數據中臺符合相關法律法規的要求，避免因數據違規使用而引發的法律風險和聲譽損失。

3.常熟農商銀行數據中臺的演進歷程

常熟農商銀行的數據中臺建設始于十年前，經歷了從數據倉庫到數據中臺的逐步轉變。初期，銀行采用TD（Teradata）數據倉庫技術，主要面向主題數據進行建模，支持決策分析。隨著業務的發展和技術的進步，銀行于2018年引入了CDH（Cloudera Data Hub）技術，形成了數據中臺的雛形。

然而，面對信創（信息技術應用創新）的嚴格要求和市場環境的快速變化，常熟農商銀行決定對數據中臺進行全面重構。2025年，銀行上線了基于華為MRS（MapReduce Service）和DWS（Data Warehouse Service）融合的第三代數據中臺，實現了全信創環境下的自主可控和高效運行。

TEZ引擎+LAKEHOUSE架構的創新實踐

1.湖倉一體架構的設計理念

常熟農商銀行的第三代數據中臺采用了湖倉一體架構，將數倉（主集群）和數據湖（主集群）有機結合，實現了數據的統一存儲、處理和分析。湖倉一體架構不僅簡化了數據架構，還通過備集群的建設實現了主備容災和高可用性，確保了數據的安全性和業務的連續性。

在具體實施上，銀行利用華為提供的前瞻性功能，實現了數倉與數據湖底層元數據的直接打通。這一創新使得銀行無需進行數據同步即可進行跨庫查詢，大幅提升了數據查詢效率。同時，湖倉一體架構還支持海量數據處理和實時交易場景，為銀行的數字化轉型提供了有力支撐。

2.TEZ引擎的跑批優化與性能提升

針對傳統跑批引擎性能不足的問題，常熟農商銀行引入了TEZ引擎，并通過30多項參數調優實現了跑批時效的顯著提升。TEZ引擎采用DAG（有向無環圖）高效調度算法，減少了不必要的HDFS（Hadoop Distributed File System）寫入操作，進一步提升了系統整體性能。

據郁敏介紹，新平臺的跑批時效比老平臺提升了2.4倍，主干鏈路跑批更是提升了2.3倍。這一優化不僅解決了跑批性能瓶頸問題，還為銀行的實時風控和敏捷營銷提供了有力保障。例如，在信貸審批場景中，新平臺能夠快速處理大量申請數據并提供準確的審批結果，大大提升了客戶體驗和業務效率。

3.存儲壓縮與成本節約的實踐

在存儲方面，常熟農商銀行對新平臺的存儲格式進行了全面梳理和優化。通過采用ORC（Optimized Row Columnar）和Zlib等高效存儲格式，銀行成功將數據容量壓縮43%。

這一優化不僅降低了存儲成本（服務器和軟件授權合計節省總預算的19.5%），還提升了數據讀寫效率。例如，在數據查詢場景中，新平臺能夠更快地返回查詢結果，提升了用戶體驗和業務響應速度。同時，存儲壓縮還減少了數據備份和恢復的時間成本，為銀行的業務連續性提供了有力保障。

數據中臺賦能業務效能的革命性變化

1.關鍵業務報表出數時間的大幅提速

新數據中臺的上線不僅帶來了技術上的升級，更引發了業務效能的革命。據郁敏分享，新平臺上線后，關鍵業務報表的出數時間最高提速了649%。這一變革為銀行的敏捷營銷和快速決策提供了“小時級”的數據支撐。

例如，在績效考核場景中，新平臺能夠在早上六點鐘就生成前一天的績效考核數據，而老平臺則需要到下午才能生成。這一提速使得分支機構能夠更及時地調整工作策略和優化資源配置，提升了業務效率和競爭力。

2.實時風控與小微展業的全面提效

在實時風控方面，新數據中臺通過獨立集群部署和高效的數據處理能力，支撐了授信、小微、零售、村鎮等業務的風險管理。目前，信貸側已形成超過70套策略，為銀行的小微貸款業務提供了強有力的風險保障。

據統計，審批時效由原來的30分鐘縮短至平均10秒，大大提升了業務處理效率。這一提效不僅增強了客戶的滿意度和忠誠度，還為銀行贏得了更多的市場份額和競爭優勢。

3.BI看板與AI問數的廣泛應用，實現數據普惠

為了進一步降低數據獲取門檻、提升全員數據體驗，常熟農商銀行還推出了BI看板和AI問數等產品。通過BI看板，銀行將數據中臺上沉淀的數據融合層和領域集市層的數據，受控地開放給各分支機構和業務部門，使他們能夠根據自身需求搭建數據統計和業務考核方案。

而AI問數產品則通過問答式查詢方式，為數據分析人員、支行長和客戶經理等不同角色提供了便捷的數據獲取途徑。目前，該產品已提供了1000多個標準化指標供用戶查詢和使用，真正實現了數據的普惠化應用。例如，在綜合營銷平臺中，客戶經理可以通過AI問數產品快速查詢自身的存貸業績增長情況、所屬機構的整體排名等信息，為精準營銷和個性化服務提供了有力支持。

結語：數據驅動未來，創新引領發展

在常熟農商銀行的數據中臺建設實踐中，通過引入TEZ引擎和LAKEHOUSE架構等先進技術手段，銀行不僅解決了傳統數據倉庫面臨的諸多痛點問題，還實現了數據處理效率和業務響應速度的顯著提升。正如郁敏在分享中所言：“數中見義，用數據成就美好?！痹谖磥淼陌l展中，常熟農商銀行將繼續秉持這一理念，不斷探索和實踐數據管理的新模式、新方法，為金融行業的數字化轉型貢獻更多智慧和力量。

【互動問答】

Q：請問數倉和湖的備集群與主集群的時差分別是多少？如何保證主備集群數據一致性？

按照批量同步的方式來做，設定了每天的同步時間窗口。本來想用華為的數據庫同步工具來實現，但是發現用工具的話，靈活性不滿足要求，有的表我們不需要同步。關于一致性，本身數據copy完就會做檢驗，然后再疊加count和sum檢驗。

Q：華為這套數據存儲的成本與之前的CDH比較有沒有優勢？主備集群的數據存儲副本數一樣嗎？

副本一樣多，不過開發測試環境做了單副本，提高性價比。存儲成本通過使用容量更大的硬盤，綜合測算下來相差不大。

Q：MRS和DWS的數據架構和流向能否展開講下？

正向加工嚴格遵守先mrs，再dws。另有存檔數據流，在空閑時把dws的數據同步回mrs的歸檔區。Dws作為跑批定向加速的場景，在上面主要部署應用集市。而mrs主要是承載貼源、模型、領域集市和對時效要求不那么高的應用集市。

Q：BI有沒有碰到用戶的數據量特別大的情況？

有的，數據量大的，我們會設置bi分店的模式，以平衡用量和管理復雜度的問題。不過這個分店不面向個人創建，而是以業務部門/分支機構為單位創建，其中的數據原料由我們部門統一提供。

在金科創新社官網、微信公眾號均可下載活動資料。