中關(guān)村學(xué)院GaussianPile實現(xiàn)切片式容積影像快速重建

近年來，3D Gaussian Splatting（3DGS）在三維視覺和圖形學(xué)中展現(xiàn)出很強的表示與渲染能力。相比傳統(tǒng)體素或神經(jīng)輻射場，它用一組可優(yōu)化的各向異性高斯來表示三維場景，既能保留連續(xù)空間結(jié)構(gòu)，又能實現(xiàn)高速渲染。

但在醫(yī)學(xué)和科學(xué)成像中，一個很自然的問題是：如果面對的不是自然場景中的 “表面”，而是超聲、顯微、MRI 等切片式成像采集得到的三維容積重建數(shù)據(jù)，3DGS 還能不能發(fā)揮作用？

北京中關(guān)村學(xué)院和清華大學(xué)提出的GaussianPile正是圍繞這個問題展開。它是一個面向切片式容積成像的稀疏高斯表示與重建框架，嘗試將傳統(tǒng) voxel grid 形式的三維體數(shù)據(jù)轉(zhuǎn)換為一組 3D Focus Gaussian primitives，在保持內(nèi)部結(jié)構(gòu)可重建的同時，實現(xiàn)壓縮、快速渲染和三維體素化評估。

• 論文標題：GaussianPile: A Unified Sparse Gaussian Splatting Framework for Slice-based Volumetric Reconstruction
• arXiv 地址：https://arxiv.org/abs/2603.20611

GaussianPile 與已有方法在質(zhì)量、速度和訓(xùn)練時間上的對比

為什么切片式容積成像需要新的表示

在生物醫(yī)學(xué)成像中，很多三維數(shù)據(jù)并不是一次性獲得完整體積，而是由一系列二維切片堆疊得到。例如自動乳腺超聲、光片顯微、結(jié)構(gòu)光顯微和部分 MRI 數(shù)據(jù)，都可以看作是切片式容積數(shù)據(jù)。

這類數(shù)據(jù)通常面臨三個問題：

• 首先是數(shù)據(jù)量大。高分辨率三維圖像會迅速帶來存儲和傳輸壓力。傳統(tǒng)體素網(wǎng)格雖然直觀，但每個空間位置都需要顯式存儲，隨著分辨率提高，成本增長很快；
• 其次是切片方向的成像特性不能被忽略。真實成像系統(tǒng)并不是理想的 “無限薄切片”。每一張切片往往具有有限厚度和有限焦深，切片內(nèi)的像素值來自一定厚度范圍內(nèi)結(jié)構(gòu)的共同貢獻。這一點在超聲和光片顯微中尤其明顯；
• 第三是交互效率。很多隱式神經(jīng)表示方法可以帶來較好的壓縮率，但優(yōu)化和查詢通常較慢，更適合作為冷存儲方案，而不適合需要快速訪問、實時瀏覽甚至機器人導(dǎo)航的應(yīng)用場景。

因此，GaussianPile 希望構(gòu)建一種表示：既像 3DGS 一樣高效、緊湊、可渲染，又能尊重切片式成像中的物理過程，保留醫(yī)學(xué)和科學(xué)分析真正關(guān)心的內(nèi)部結(jié)構(gòu)。

GaussianPile 的核心思想

GaussianPile 的核心是把切片式成像的 “有限厚度” 顯式寫進高斯渲染過程。

標準 3DGS 主要面向自然場景的表面渲染，通常假設(shè)相機是 all-in-focus 的：一個三維點投影到圖像平面時，并不顯式考慮醫(yī)學(xué)成像中沿切片方向的點擴散和焦深效應(yīng)。直接把它用于切片數(shù)據(jù)時，可能出現(xiàn)一個問題：二維切片看起來擬合得還不錯，但三維內(nèi)部結(jié)構(gòu)并不可靠。

GaussianPile 引入了一個 focus-aware physical model。具體來說，它將成像系統(tǒng)在切片方向上的點擴散函數(shù)建模為一個有限厚度的 sensitivity map，并把這個物理響應(yīng)與每個 3D Gaussian 的投影過程結(jié)合起來。這樣，距離當前切片較近的高斯會對圖像產(chǎn)生主要貢獻，而離焦區(qū)域的高斯會被自然衰減。

GaussianPile 的 focus-aware rendering pipeline

整個渲染過程可以概括為三步：

1.Scan：在三維高斯表示中采樣不同深度的虛擬切片；

2.Focus：根據(jù)切片厚度和系統(tǒng)焦深，對高斯進行軸向重參數(shù)化，并調(diào)制離焦區(qū)域的貢獻；

3.Pile：將經(jīng)過 focus 調(diào)制的高斯投影到二維切片，并采用 additive rasterization 累積體積強度。

這里的 additive rasterization 也很關(guān)鍵。自然場景渲染常用 alpha blending 來處理遮擋關(guān)系，但切片式醫(yī)學(xué)成像中的像素強度 intensity 更接近體積信號沿成像方向的積分。因此，GaussianPile 采用加性累積來描述不同高斯對同一像素的貢獻，使渲染過程更符合切片式容積成像的物理含義。

從 voxel 到 Gaussian：壓縮之外，更重要的是可計算的三維表示

GaussianPile 并不只是把體數(shù)據(jù) “壓小”。它更像是把切片序列轉(zhuǎn)換成了一種可計算的三維中間表示。

在這個表示中，每個高斯包含位置、尺度、方向和強度等參數(shù)。由于 Gaussian 本身是連續(xù)函數(shù)，一個高斯可以覆蓋一片空間區(qū)域，因此通常不需要像體素網(wǎng)格那樣逐點存儲。同時，GaussianPile 去除了標準 3DGS 中用于表面外觀建模的球諧系數(shù)，因為醫(yī)學(xué)切片強度更接近視角無關(guān)的體積密度，而不是自然圖像中的視角相關(guān)顏色。

在壓縮階段，GaussianPile進一步利用高斯參數(shù)的空間相關(guān)性，對位置、尺度、旋轉(zhuǎn)和透明度等屬性進行量化與熵編碼。實驗中，GaussianPile 相對于 voxel grid 實現(xiàn)了穩(wěn)定約 16 倍的壓縮，在部分數(shù)據(jù)集上壓縮率達到 20 到 26 倍，同時仍能保持非常好的二維切片重建和三維結(jié)構(gòu)一致性。

實驗結(jié)果：達到速度、質(zhì)量和壓縮之間的平衡

實驗部分在自動乳腺超聲（ABUS）、光片顯微（LSM）以及多組細胞顯微數(shù)據(jù)上評估了 GaussianPile，并與 HEVC、INR/NeRF 類壓縮方法以及原始 3DGS 方法進行了比較。

結(jié)果顯示，GaussianPile 在多個數(shù)據(jù)集上取得了更好的 2D PSNR/SSIM 和 3D PSNR/SSIM。相比 HEVC，它能更好保留細微結(jié)構(gòu)；相比 INR 類方法，它在高頻細節(jié)和優(yōu)化速度上更有優(yōu)勢；相比直接使用 3DGS，它能顯著改善三維結(jié)構(gòu)不一致和 floating artifacts 等問題。

不同方法在超聲和顯微數(shù)據(jù)上的二維重建效果對比

在效率方面，GaussianPile 可以在數(shù)分鐘內(nèi)達到較高質(zhì)量結(jié)果。論文中報告的平均收斂時間約為 8 分鐘，部分數(shù)據(jù)在約 3 分鐘內(nèi)即可得到較好重建結(jié)果。相比需要較長優(yōu)化時間的 INR/NeRF 類方法，GaussianPile 最高實現(xiàn)約 11 倍加速，同時保留了 Gaussian 表示帶來的實時渲染能力。

三維重建結(jié)果對比。適配后的原始 3DGS 雖然可能擬合二維切片，但三維內(nèi)部結(jié)構(gòu)容易失真；GaussianPile 保持了更好的三維體結(jié)構(gòu)一致性。

除了常規(guī)醫(yī)學(xué)和顯微數(shù)據(jù)，研究團隊還在電子顯微等更大規(guī)模數(shù)據(jù)上進行了擴展實驗，觀察到 GaussianPile 在更高分辨率體數(shù)據(jù)上仍具有較好的可擴展性。這說明該表示不僅適用于小規(guī)模樣本，也有潛力服務(wù)于更大規(guī)模的科學(xué)成像數(shù)據(jù)的瀏覽和分析。

在大型數(shù)據(jù)集上的可擴展性分析

未來方向

在機器人輔助手術(shù)中，系統(tǒng)需要盡可能實時地獲得組織的三維結(jié)構(gòu)，并進一步完成腫瘤、血管或其他關(guān)鍵區(qū)域的定位與理解。傳統(tǒng)方案往往依賴更復(fù)雜的陣列硬件或機械掃描來提高三維成像質(zhì)量，但這會帶來成本、體積和掃描時間上的壓力。另一方面，如果算法側(cè)的重建過程過慢，也難以進入 “成像 - 理解 - 規(guī)劃 - 執(zhí)行” 的閉環(huán)。

GaussianPile 提供了一種折中路徑，在不改變底層成像模態(tài)的前提下，把成像數(shù)據(jù)轉(zhuǎn)換為緊湊、連續(xù)、可渲染的三維高斯表示。這個表示既可以用于快速瀏覽和壓縮存儲，也可以進一步支持體素化評估、三維分割和后續(xù)可能產(chǎn)生的可變形建模。

小結(jié)

GaussianPile 嘗試回答的是一個交叉問題：3DGS 這種高效三維表示，能否從自然場景擴展到具有明確物理約束的切片式容積成像？答案是：可以，但不能直接照搬。關(guān)鍵在于把真實成像系統(tǒng)中的有限切片厚度和焦深效應(yīng)納入高斯前向投影過程，讓表示不僅能擬合二維圖像，還能保持三維內(nèi)部結(jié)構(gòu)的一致性。

從實驗結(jié)果看，GaussianPile 在重建質(zhì)量、訓(xùn)練速度和壓縮率之間取得了較好的平衡。更重要的是，它將體素網(wǎng)格轉(zhuǎn)化為一種連續(xù)、稀疏、可交互的高斯表示，為醫(yī)學(xué)影像壓縮、科學(xué)數(shù)據(jù)瀏覽，以及手術(shù)機器人場景下的實時三維感知提供了新的技術(shù)路徑。

作者簡介

本文第一作者來自北京中關(guān)村學(xué)院 & 清華大學(xué) 2024 級聯(lián)培博士生孔迪，通訊作者為清華大學(xué)長聘副教授、北京中關(guān)村學(xué)院共建導(dǎo)師馬騁和清華大學(xué)博士后陳譽文，并由王一凱副教授（北京師范大學(xué)）、郭文杰（清華大學(xué)）、卜一凡（清華大學(xué)）、張博雅（北京中關(guān)村學(xué)院 & 南開大學(xué)）、段月欣（北京中關(guān)村學(xué)院 & 南開大學(xué)）、岳夏微（北京中關(guān)村學(xué)院 & 南開大學(xué)）、杜文彪（北京中關(guān)村學(xué)院 & 北京理工大學(xué)）、仲依蔓（北京中關(guān)村學(xué)院 & 北京航空航天大學(xué)）共同合作完成。該研究依托北京中關(guān)村學(xué)院學(xué)生自主立項 “乳腺智能微創(chuàng)手術(shù)機器人系統(tǒng)及關(guān)鍵技術(shù)研究” 項目開展，研究團隊長期聚焦三維視覺與計算成像相關(guān)的算法研究。