國(guó)內(nèi)首次！面壁開(kāi)源千萬(wàn)級(jí)SFT與最大中文數(shù)據(jù)，MiniCPM5-1B底座公開(kāi)

新智元報(bào)道

【新智元導(dǎo)讀】5月25日至29日，面壁智能與OpenBMB聯(lián)合舉辦「端側(cè)大模型開(kāi)源周」，每天解鎖一個(gè)端側(cè)大模型的殺手锏。端側(cè)大模型的頂峰，不只在冰山一角，而在整座冰山。今天是開(kāi)源周的第五彈：UltraData系列數(shù)據(jù)集上新。

5月29日，面壁智能聯(lián)合清華大學(xué)、 OpenBMB開(kāi)源社區(qū)聯(lián)合發(fā)布并開(kāi)源兩大最新數(shù)據(jù)集：Ultra-FineWeb-L3與UltraData-SFT-2605。

其中，Ultra-FineWeb-L3包含高質(zhì)量中文+英文網(wǎng)頁(yè)合成數(shù)據(jù)，總量突破600B Tokens，中文占據(jù)200B+Tokens ，是目前開(kāi)源規(guī)模最大的中文預(yù)訓(xùn)練合成數(shù)據(jù)集；UltraData-SFT-2605是國(guó)內(nèi)首次開(kāi)源的千萬(wàn)級(jí)、同時(shí)包含深思考與非思考標(biāo)注的SFT數(shù)據(jù)集。

MiniCPM5-1B的訓(xùn)練過(guò)程，是UltraData分級(jí)治理體系的一次完整實(shí)踐，此次上新的兩大數(shù)據(jù)集Ultra-FineWeb-L3 與UltraData-SFT-2605均已在MiniCPM5-1B的訓(xùn)練流程中得到完全驗(yàn)證，覆蓋從預(yù)訓(xùn)練退火到后訓(xùn)練SFT的全鏈路。

這兩大數(shù)據(jù)集均基于面壁智能獨(dú)創(chuàng)的UltraData數(shù)據(jù)分級(jí)治理體系構(gòu)建，為大模型產(chǎn)業(yè)提供了自主可控、高質(zhì)量可復(fù)現(xiàn)的數(shù)據(jù)基礎(chǔ)設(shè)施。目前已全面上線UltraData網(wǎng)站與HuggingFace等，面向全球開(kāi)發(fā)者免費(fèi)開(kāi)放。

UltraData數(shù)據(jù)分級(jí)治理

從「堆規(guī)模」到「精煉數(shù)據(jù)」

大模型訓(xùn)練數(shù)據(jù)如同原油，未經(jīng)提煉無(wú)法直接驅(qū)動(dòng)引擎。在模型架構(gòu)趨同、高質(zhì)量公開(kāi)數(shù)據(jù)資源逐漸逼近枯竭的背景下，單純依賴(lài)數(shù)據(jù)規(guī)模擴(kuò)張已難以為繼。不同訓(xùn)練階段對(duì)數(shù)據(jù)的質(zhì)量、數(shù)量及分布存在顯著差異，需要有針對(duì)性的數(shù)據(jù)策略。

今年2月，面壁智能聯(lián)合清華大學(xué)、OpenBMB提出的L0-L4五級(jí)數(shù)據(jù)分級(jí)治理體系，正是為了解決這一問(wèn)題。

從原始數(shù)據(jù)（L0）經(jīng)基礎(chǔ)過(guò)濾（L1）、模型精篩（L2）、合成與增強(qiáng)（L3），到最終可用于編排的數(shù)據(jù)（L4），每一級(jí)對(duì)應(yīng)明確的處理標(biāo)準(zhǔn)與應(yīng)用場(chǎng)景，避免「一刀切」的粗放加工。

在英文網(wǎng)頁(yè)、中文網(wǎng)頁(yè)、數(shù)學(xué)、代碼四個(gè)領(lǐng)域的系統(tǒng)性實(shí)驗(yàn)中，模型性能隨數(shù)據(jù)質(zhì)量從L1向L3逐級(jí)提升而持續(xù)增強(qiáng)，分級(jí)訓(xùn)練相比混合訓(xùn)練平均性能提升1.49個(gè)百分點(diǎn)。

沒(méi)有系統(tǒng)的數(shù)據(jù)治理，就沒(méi)有可復(fù)現(xiàn)的AGI進(jìn)化。此次L3數(shù)據(jù)集的開(kāi)源，正是這套方法論從理論走向?qū)嵺`、從數(shù)學(xué)垂直領(lǐng)域向通用網(wǎng)頁(yè)與后訓(xùn)練SFT全面延伸的關(guān)鍵一步。

Ultra?FineWeb?L3

讓網(wǎng)頁(yè)文本從「可讀」到「好學(xué)」

Ultra?FineWeb?L3是將L3精煉技術(shù)系統(tǒng)化應(yīng)用于通用網(wǎng)頁(yè)數(shù)據(jù)的合成數(shù)據(jù)集，規(guī)模超600B Tokens，其中英文400B+Tokens，中文200B+ Tokens。

同時(shí)也是當(dāng)前全球最大規(guī)模的中文預(yù)訓(xùn)練合成數(shù)據(jù)，一舉解決了長(zhǎng)期以來(lái)中文高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)稀缺、分布不均的行業(yè)痛點(diǎn)。

以L2精篩高質(zhì)量網(wǎng)頁(yè)數(shù)據(jù)Ultra-FineWeb為種子，Ultra-FineWeb-L3使用多種模型進(jìn)行問(wèn)答對(duì)生成與多風(fēng)格改寫(xiě)，將海量網(wǎng)頁(yè)文本升級(jí)為結(jié)構(gòu)化、高信息密度、更適合模型學(xué)習(xí)的預(yù)訓(xùn)練數(shù)據(jù)。

其核心目標(biāo)不是增加數(shù)據(jù)量，而是提升單位數(shù)據(jù)的可學(xué)習(xí)性。

在同等訓(xùn)練量下，Ultra-FineWeb-L3在ARC-E、HellaSwag、OpenbookQA等英文任務(wù)以及CMMLU等中文任務(wù)上均顯著超越FineWeb-edu、FinePhrase等其他高質(zhì)量數(shù)據(jù)集，且訓(xùn)練后期的領(lǐng)先優(yōu)勢(shì)持續(xù)擴(kuò)大。

作為MiniCPM5-1B退火階段的核心訓(xùn)練數(shù)據(jù)，它為模型在訓(xùn)練后期實(shí)現(xiàn)「最后一公里」能力躍升提供了高密度燃料。

如果說(shuō)此前發(fā)布的UltraData-Math是UltraData分級(jí)治理體系在數(shù)學(xué)領(lǐng)域的一次最佳實(shí)踐，那么Ultra-FineWeb-L3則是這一方法論向通用網(wǎng)頁(yè)領(lǐng)域的進(jìn)一步延伸。

它的意義不只是提供一份更大規(guī)模的網(wǎng)頁(yè)合成數(shù)據(jù)，更是把「可讀」的網(wǎng)頁(yè)文本，進(jìn)一步轉(zhuǎn)化為「好學(xué)」的訓(xùn)練數(shù)據(jù)。

UltraData-SFT-2605

千萬(wàn)級(jí)深思考與非思考SFT全量開(kāi)源

如果說(shuō)預(yù)訓(xùn)練決定了模型的知識(shí)廣度，SFT 階段則決定了模型能否精準(zhǔn)遵循指令、能否一步步推演出復(fù)雜問(wèn)題的答案。

UltraData?SFT?2605是國(guó)內(nèi)首個(gè)開(kāi)源的千萬(wàn)級(jí)規(guī)模、同時(shí)包含深思考與非思考完整標(biāo)注的全量SFT數(shù)據(jù)集，覆蓋數(shù)學(xué)、代碼、知識(shí)、指令遵循等多個(gè)領(lǐng)域。

該數(shù)據(jù)集在每個(gè)領(lǐng)域、每個(gè)難度層級(jí)中同時(shí)構(gòu)建兩類(lèi)數(shù)據(jù)：

• 非思考數(shù)據(jù)：對(duì)應(yīng)快速響應(yīng)場(chǎng)景下的直接回答能力

• 深思考數(shù)據(jù)：對(duì)應(yīng)復(fù)雜任務(wù)場(chǎng)景下的推理、規(guī)劃與驗(yàn)證能力，包含完整思維鏈標(biāo)注

通過(guò)這種雙能力并行設(shè)計(jì)，模型可以在不同使用場(chǎng)景下獲得針對(duì)性的訓(xùn)練信號(hào)。

全流程質(zhì)量治理透明化是UltraData-SFT-2605的另一大亮點(diǎn)。

即使同屬于L3數(shù)據(jù)，不同樣本在問(wèn)題價(jià)值、回答質(zhì)量、推理清晰度和評(píng)測(cè)污染風(fēng)險(xiǎn)上仍然存在差異，因此L3內(nèi)部同樣需要明確的質(zhì)量篩選標(biāo)準(zhǔn)。

為此，UltraData-SFT-2605在構(gòu)建過(guò)程中引入了完整的數(shù)據(jù)治理流程：從 Query構(gòu)造與篩選，到Answer質(zhì)量控制，再到Benchmark去污與訓(xùn)練驗(yàn)證，盡可能確保進(jìn)入最終訓(xùn)練的數(shù)據(jù)干凈且真正有效。

開(kāi)發(fā)者可以追溯每條數(shù)據(jù)的處理過(guò)程，理解其被保留、增強(qiáng)與驗(yàn)證的依據(jù)，為1B級(jí)端側(cè)大模型具備強(qiáng)推理能力提供了可復(fù)現(xiàn)的數(shù)據(jù)基礎(chǔ)。

基于此，開(kāi)發(fā)者無(wú)需從零開(kāi)始構(gòu)建復(fù)雜的推理標(biāo)注體系，即可快速訓(xùn)練出具備深度思考能力的端側(cè)大模型。

不止于規(guī)模

更是可復(fù)用的數(shù)據(jù)治理方法論

大模型的發(fā)展正邁入新階段，數(shù)據(jù)科學(xué)必須從粗放式的規(guī)模擴(kuò)張，邁向精細(xì)化的數(shù)據(jù)治理與利用。UltraData數(shù)據(jù)分級(jí)治理體系提供的正是這一轉(zhuǎn)型的系統(tǒng)性方案。

此前，UltraData已積累了豐富的數(shù)據(jù)治理與開(kāi)源基礎(chǔ)。其開(kāi)放社區(qū)網(wǎng)站系統(tǒng)整理了UltraChat、UltraFeedback等高質(zhì)量數(shù)據(jù)集的前期工作，并開(kāi)源了實(shí)驗(yàn)過(guò)程中的2.4T Tokens數(shù)據(jù)與4項(xiàng)數(shù)據(jù)治理工具。

其中，UltraData-Math以290B+ Tokens的總規(guī)模構(gòu)建了從L1網(wǎng)頁(yè)語(yǔ)料到 L3 推理鏈的分級(jí)數(shù)學(xué)數(shù)據(jù)體系，L3數(shù)學(xué)合成數(shù)據(jù)達(dá)88B Tokens，是目前開(kāi)源社區(qū)規(guī)模最大的數(shù)學(xué)預(yù)訓(xùn)練數(shù)據(jù)，并以霸榜之姿登頂Hugging Face Trending第一。

Ultra-FineWeb連續(xù)兩周登頂Hugging Face Trending第一，累計(jì)下載量超50萬(wàn)次。

此次開(kāi)源的Ultra-FineWeb-L3與UltraData-SFT-2605，正是這套分級(jí)治理方法論從數(shù)學(xué)垂直領(lǐng)域向通用網(wǎng)頁(yè)和后訓(xùn)練SFT階段全面延伸的標(biāo)志性成果。

開(kāi)源不是終點(diǎn)

是共建長(zhǎng)期數(shù)據(jù)生態(tài)的起點(diǎn)

高質(zhì)量數(shù)據(jù)正在成為端側(cè)智能落地的關(guān)鍵變量。

對(duì)于端側(cè)廠商而言，UltraData的開(kāi)源意味著無(wú)需重復(fù)投入巨額成本進(jìn)行網(wǎng)頁(yè)合成與SFT數(shù)據(jù)清洗，直接使用即可復(fù)現(xiàn)MiniCPM5-1B級(jí)別能力。

高質(zhì)量L3數(shù)據(jù)使1B模型在數(shù)學(xué)、代碼、推理等任務(wù)上逼近更大模型，加速端側(cè)智能在手機(jī)、PC、汽車(chē)等場(chǎng)景的落地。高質(zhì)量數(shù)據(jù)意味著更少的訓(xùn)練token即可達(dá)到同等效果，間接節(jié)省算力與內(nèi)存——這正是端側(cè)大模型從技術(shù)驗(yàn)證走向規(guī)模化落地的關(guān)鍵一環(huán)。

面壁智能始終秉持「開(kāi)源」理念，為社區(qū)開(kāi)發(fā)者提供從數(shù)據(jù)獲取到模型訓(xùn)練的全鏈路支持，深入探索如何高效量化數(shù)據(jù)價(jià)值、精準(zhǔn)適配模型各階段的訓(xùn)練需求，進(jìn)一步構(gòu)建「數(shù)據(jù)<->模型協(xié)同演進(jìn)」，形成模型反哺數(shù)據(jù)治理、高質(zhì)量數(shù)據(jù)進(jìn)一步優(yōu)化模型的良性閉環(huán)。

此次UltraData系列數(shù)據(jù)集的上新與開(kāi)源，正是一個(gè)持續(xù)迭代的新起點(diǎn)。

未來(lái)，UltraData將陸續(xù)開(kāi)放更多預(yù)訓(xùn)練L1/L2/L3數(shù)據(jù)、更強(qiáng)通用SFT數(shù)據(jù)、Agent?SFT數(shù)據(jù)以及RL數(shù)據(jù)，相關(guān)的治理算法與模型也會(huì)持續(xù)開(kāi)源，構(gòu)建從「一次性發(fā)布」到「持續(xù)迭代」的數(shù)據(jù)生態(tài)，讓高性能AI更快、更自然地來(lái)到每個(gè)人身邊。

?UltraData 網(wǎng)站

https://ultradata.openbmb.cn

? Hugging Face 地址

https://huggingface.co/collections/openbmb/ultradata

? Ultra-FineWeb-L3

https://huggingface.co/datasets/openbmb/Ultra-FineWeb-L3

? UltraData-SFT-2605

https://huggingface.co/datasets/openbmb/UltraData-SFT-2605