時(shí)間減少90%以上！分布式系統(tǒng)的性能優(yōu)化實(shí)戰(zhàn)

1背景

分布式批量系統(tǒng)指的是采用分布式數(shù)據(jù)庫(kù)架構(gòu)，主體功能由批量程序?qū)崿F(xiàn)的系統(tǒng)。分布式系統(tǒng)批量程序的性能測(cè)試，除了和聯(lián)機(jī)交易性能測(cè)試一樣關(guān)注服務(wù)器資源使用率是否合理、是否存在性能異常外，在測(cè)試執(zhí)行階段需要關(guān)注是否因數(shù)據(jù)分布不均衡導(dǎo)致部分并發(fā)子程序執(zhí)行時(shí)間過長(zhǎng)，成為整體批量程序的“短板”，從而影響批量程序的整體時(shí)間。

下面我主要介紹一種分布式系統(tǒng)批量程序性能優(yōu)化的思路，并結(jié)合實(shí)際測(cè)試效果說明。

2分布式系統(tǒng)分片和批量并發(fā)規(guī)則

被測(cè)系統(tǒng)數(shù)據(jù)庫(kù)為分布式數(shù)據(jù)庫(kù)，存儲(chǔ)并處理某公司各個(gè)機(jī)構(gòu)的業(yè)務(wù)數(shù)據(jù)，包括若干個(gè)數(shù)據(jù)庫(kù)分片、500多個(gè)分片鍵（分布式表的一個(gè)主鍵字段，用來區(qū)分?jǐn)?shù)據(jù)存放的分片），分片鍵值是由機(jī)構(gòu)ID號(hào)（以下簡(jiǎn)稱機(jī)構(gòu)號(hào)）按照一定規(guī)則映射而來。每個(gè)分片包含若干分片鍵，某個(gè)分片鍵對(duì)應(yīng)若干機(jī)構(gòu)的數(shù)據(jù)。

批量程序執(zhí)行時(shí)，根據(jù)系統(tǒng)相關(guān)配置表中的靜態(tài)配置，500多個(gè)子程序并發(fā)分別處理對(duì)應(yīng)分片鍵下的業(yè)務(wù)數(shù)據(jù)。各個(gè)子程序處理邏輯相同，所以當(dāng)某些子程序待處理的數(shù)據(jù)量相對(duì)其他子程序過多時(shí)（即該分片鍵下機(jī)構(gòu)數(shù)據(jù)明顯多于其他分片鍵下數(shù)據(jù)），這些耗時(shí)長(zhǎng)的子程序會(huì)拖慢整體程序的效率。

圖1分片與分片鍵對(duì)應(yīng)關(guān)系

3搶任務(wù)方式優(yōu)化數(shù)據(jù)分布不均衡的批量程序

3.1由靜態(tài)并發(fā)改造搶任務(wù)模式

根據(jù)系統(tǒng)按分片鍵靜態(tài)并發(fā)的特點(diǎn)，當(dāng)批量程序子程序間處理數(shù)據(jù)分布不均衡時(shí)，部分子程序執(zhí)行時(shí)間過長(zhǎng)，成為整體批量程序的“短板”，從而影響批量的整體時(shí)間。為解決上述問題，本系統(tǒng)采取了“搶任務(wù)”的動(dòng)態(tài)并發(fā)優(yōu)化方法。

圖2搶任務(wù)改造前后批量程序邏輯對(duì)比

1）將待處理表中的所有數(shù)據(jù)，按照一定的維度（如機(jī)構(gòu)號(hào)+該表的某個(gè)參數(shù)值）劃分成若干個(gè)任務(wù)，單個(gè)任務(wù)就是某個(gè)機(jī)構(gòu)下某參數(shù)值對(duì)應(yīng)的數(shù)據(jù)。

2）在實(shí)際處理數(shù)據(jù)程序執(zhí)行之前，添加一個(gè)生成任務(wù)程序，執(zhí)行該程序就會(huì)在任務(wù)表中添加全部任務(wù)的記錄，所有任務(wù)當(dāng)前處于初始化狀態(tài)。

3）生成任務(wù)程序執(zhí)行后，自動(dòng)調(diào)起數(shù)據(jù)處理程序，改造后的程序不再按照靜態(tài)并發(fā)，而是去查詢?nèi)蝿?wù)表中狀態(tài)為初始化且數(shù)據(jù)量大（優(yōu)先級(jí)高）的任務(wù)，任務(wù)結(jié)束時(shí)，處理狀態(tài)改為已完成，子程序查找下一個(gè)未處理的任務(wù)，直到任務(wù)表沒有狀態(tài)為初始化的任務(wù)，所有子程序成功執(zhí)行完成。

實(shí)際測(cè)試場(chǎng)景執(zhí)行時(shí)采用1600萬(wàn)條數(shù)據(jù)對(duì)某批量程序（該程序處理的業(yè)務(wù)數(shù)據(jù)，各個(gè)分片鍵下的數(shù)據(jù)極不均衡，經(jīng)分析適用于本優(yōu)化方法）進(jìn)行測(cè)試數(shù)據(jù)準(zhǔn)備，按照優(yōu)先級(jí)處理任務(wù)300個(gè)子程序動(dòng)態(tài)并發(fā)執(zhí)行，按當(dāng)前維度共生成11萬(wàn)個(gè)任務(wù)，所有子程序均在33分鐘內(nèi)完成，無(wú)明顯過長(zhǎng)的子程序，總體執(zhí)行時(shí)間32分21秒，系統(tǒng)資源和數(shù)據(jù)庫(kù)資源利用率均正常。

3.2優(yōu)化任務(wù)處理數(shù)據(jù)量

按前述優(yōu)化的生成任務(wù)維度，有個(gè)別任務(wù)處理數(shù)據(jù)量仍然很大，如果不進(jìn)行進(jìn)一步拆分還是存在一定“短板”，且生成的任務(wù)過多，大量任務(wù)都是小數(shù)據(jù)量任務(wù)，處理數(shù)據(jù)程序頻繁搶“小任務(wù)”并更新數(shù)據(jù)的效率較低。為解決上述問題，程序進(jìn)行了第二次優(yōu)化。

1）生成任務(wù)時(shí)增加限制任務(wù)處理數(shù)據(jù)量的參數(shù)，該參數(shù)作用是規(guī)定單個(gè)任務(wù)的最大數(shù)據(jù)處理數(shù)，當(dāng)同一分片鍵維度的任務(wù)處理數(shù)據(jù)量未達(dá)到這個(gè)值時(shí)，將這幾個(gè)任務(wù)合并為一個(gè)更大的任務(wù)，如果分片鍵發(fā)生了切換，則生成下一個(gè)任務(wù)。

2）對(duì)于原有維度拆分出來的大任務(wù)，通過增加維度的字段，使單個(gè)維度的處理數(shù)據(jù)量降低，這樣一個(gè)維度包含的數(shù)據(jù)更小，同時(shí)也參照上述參數(shù)限定任務(wù)最大數(shù)據(jù)處理數(shù)。

上述優(yōu)化主要目標(biāo)即控制個(gè)別“大任務(wù)”的處理數(shù)據(jù)量，合并多數(shù)“小任務(wù)”，使任務(wù)總量變少，減少搶任務(wù)造成的時(shí)間成本，并且任務(wù)之間處理數(shù)據(jù)量更均衡。

按上述策略優(yōu)化的生成任務(wù)程序和數(shù)據(jù)處理程序，并發(fā)數(shù)不變，仍然采用同樣數(shù)據(jù)進(jìn)行準(zhǔn)備并執(zhí)行測(cè)試，由于生成任務(wù)的規(guī)則變化，生成的任務(wù)量由原來的10萬(wàn)以上降低到1000以內(nèi)，生成任務(wù)時(shí)間增為2分40秒，執(zhí)行數(shù)據(jù)處理程序時(shí)間降低為12分33秒，生成任務(wù)和處理數(shù)據(jù)的總執(zhí)行時(shí)間比第一次優(yōu)化明顯提升。下表是兩次優(yōu)化執(zhí)行性能測(cè)試執(zhí)行時(shí)間對(duì)比。

該批量程序按上述策略兩次優(yōu)化后，生產(chǎn)環(huán)境中處理時(shí)間由優(yōu)化前的近4小時(shí)縮短到15分鐘左右，時(shí)間減少90%以上，且系統(tǒng)資源運(yùn)行平穩(wěn)，無(wú)性能瓶頸。

4總結(jié)及展望

通過分布式系統(tǒng)的性能測(cè)試實(shí)踐，我們根據(jù)系統(tǒng)特點(diǎn)在批量程序性能優(yōu)化方面積累了一定經(jīng)驗(yàn)。搶任務(wù)性能優(yōu)化方式解決了批量程序不同分片鍵處理數(shù)據(jù)量不均衡導(dǎo)致的執(zhí)行時(shí)間過長(zhǎng)問題，在項(xiàng)目測(cè)試中取得了明顯的優(yōu)化效果。

未來我還將持續(xù)探索分布式系統(tǒng)的批量測(cè)試技術(shù)和測(cè)試方法，加強(qiáng)系統(tǒng)分析與調(diào)優(yōu)能力，為提升分布式批量系統(tǒng)效率及可靠性繼續(xù)努力。

最后：在我的V：atstudy-js，可以免費(fèi)領(lǐng)取一份10G軟件測(cè)試工程師面試寶典文檔資料。以及相對(duì)應(yīng)的視頻學(xué)習(xí)教程免費(fèi)分享！其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。