ICLR 2026 | 救命，手機Live Photo重選封面終于不糊了

作者團隊來自 vivo BlueImage Lab（藍圖影像創新實驗室），該實驗室主要負責移動影像算法創新，持續突破移動影像的技術天花板。工作重點包括圖像 / 視頻處理、交互、增強、多模態理解大模型等方面的技術前沿探索。他們致力于提升 vivo 移動影像的算法能力，使用戶能夠拍攝出更加清晰、美觀的照片和視頻，并為用戶提供更加豐富便捷的影像體驗。

在手機攝影中，Live Photo 早已成為一種常見而成熟的拍攝形式，它不再只是定格一個畫面，而是記錄「此時此刻」的狀態與情緒，捕捉那些轉瞬即逝的精彩瞬間。它由一張高清封面圖和一段短視頻共同組成，既保留了照片的清晰質感，也記錄了拍攝瞬間前后的動態信息。

在日常使用中，用戶往往希望從這段視頻中重新選擇某一幀作為封面，以捕捉更理想的表情、動作或時機。然而，在實際使用中，問題也隨之顯現：由于視頻本身分辨率低、壓縮嚴重，重選的封面幀往往畫質不足，難以滿足「封面級」的觀感要求。

這一看似簡單的需求，實際上仍缺乏有效的技術解決方案。現有單幀或參考修復方法難以處理來自同一場景卻存在時間偏移的參考圖像；而視頻級方法又往往圍繞整段視頻序列設計，難以高效地服務于單幀封面修復。

圖 1: 真實 Live Photo 場景下機內重選封面幀與 LiveMoments 的效果對比

近日，vivo 藍圖實驗室與南開大學聯合發布了一項新的研究工作，首次系統性地定義了「基于原始封面幀參考的 Live Photo 重選封面幀修復」這一任務，并為該任務提供了創新性的解決方案。該工作已正式被國際機器學習頂級會議 ICLR 2026 接收。

通過利用 Live Photo 中自帶的高清原始封面幀作為參考，LiveMoments 能夠在保持內容一致性的同時，顯著提升重選封面幀的畫質，使其真正達到可作為封面的視覺質量。

• 論文標題：LiveMoments: Reselected Key Photo Restoration in Live Photos via Reference-guided Diffusion
• 論文鏈接：https://arxiv.org/pdf/2604.12286
• 論文主頁：https://clara7-c.github.io/livemoments/
• 代碼鏈接：https://github.com/OpenVeraTeam/LiveMoments

全新任務：為 Live Photo 帶來更清晰的重選封面幀體驗

不同于傳統針對單幀圖像或整段視頻的參考修復任務，研究團隊從 Live Photo 的真實使用場景出發，提出了重選封面幀修復（Reselected Key Photo Restoration）這一新問題。即利用原始封面幀作為高質量參考，引導低質量重選幀的修復過程，從而提升其視覺質量。

圖 2: 參考超分與 Live Photo 重選封面幀修復的任務對比

這一任務可以看作參考圖像超分（RefSR）的一個子問題，但與傳統參考圖像超分（RefISR）依賴來自外部數據庫的高質量參考圖不同，該任務使用來自同一 Live Photo 序列的原始封面幀，保證了內容一致性。同時，相比參考視頻超分（RefVSR）需要處理整段視頻、甚至依賴多攝像頭數據的復雜設定，該任務只關注單張重選封面幀的修復，更貼近實際需求，也更加高效。

然而，這一設定也帶來了新的挑戰：Live Photo 中普遍存在的運動錯位，以及原始封面與重選幀之間顯著的質量差異，使得現有參考超分與單幀超分方法難以直接適用。

而研究團隊所提出的 LiveMoments 通過 Live Photo 中天然存在的高清原始封面幀作為參考引導重選封面幀的修復，能夠在顯著提升畫質的同時，有效避免結構失真與細節不一致等問題。同時，該模型結合了擴散模型所具備的強生成先驗，并針對 Live Photo 場景中廣泛存在的運動錯位設計了對齊模塊，在復雜動態場景下依然表現出良好的穩定性與魯棒性。

技術邏輯：參考引導下的重選封面幀修復

針對 Live Photo 中的重選封面幀修復任務，LiveMoments 的整體設計圍繞兩個關鍵問題展開：如何穩定實現細節遷移與修復，以及如何應對 Live Photo 中廣泛存在的運動場景。

圖 3: LiveMoments 架構圖

1. 針對細節遷移與修復設計的 baseline

LiveMoments 以擴散模型為基礎，構建了一個包含參考引導的修復框架。借助擴散模型強大的生成先驗，模型能夠實現高效與細粒度的特征提取。同時，基于注意力的特征融合機制有效地引入了來自原始封面幀的細節與紋理信息，在提升清晰度的同時保持整體結構的一致性。

這一設計使模型能夠穩定可靠地恢復重選封面幀的畫質。

2. 針對 Live Photo 場景的運動對齊設計

考慮到原始封面幀與重選封面幀往往存在明顯的時間偏移與運動錯位，LiveMoments 進一步引入了運動對齊模塊，以提升跨幀對齊與參考融合的準確性。

該模塊同時作用于兩個部分：在潛空間中，通過運動引導的注意力機制增強特征融合的一致性；在像素域中，通過圖像塊匹配檢索策略定位并利用正確的參考區域。這一設計有效緩解了運動錯位帶來的干擾，使參考信息能夠被更精準、可靠地使用。

實驗結果：超越現有的參考超分與單幀超分方法

研究團隊構建了 2 個真實場景下的 Live Photo 數據集與 1 個仿真數據集，并通過調整無參考評價指標，使其更適用于重選封面幀修復這一任務。

真實 Live Photo 數據集由 vivo X200 Pro 與 iPhone 15 Pro 拍攝獲得，模型在 2 個真實場景數據集上均取得了最優的評價指標，展現出穩定而全面的性能優勢。

表 1: 2 個真實 Live Photo 數據集上 LiveMoments 與其他模型的數值指標對比

圖 4: 真實 Live Photo 場景下 LiveMoments 與其他模型的修復效果對比

總結與展望

通過利用 Live Photo 中天然存在的原始封面幀作為參考，LiveMoments 采用雙分支結構的設計，并結合統一的運動對齊模塊，能夠有效將原始高質量封面幀中的結構與紋理信息遷移至重選封面幀中，在復雜場景下依然表現出穩定的性能。

該工作從實際應用場景出發，首次系統性地研究了 Live Photo 重選封面幀修復問題，能夠廣泛服務于多種影像場景：

• 日常拍攝：自由選擇最滿意的瞬間作為封面，不再受畫質限制
• 內容創作：為短視頻、社交平臺內容提供更高質量的封面圖
• 學術研究：為參考引導圖像修復與擴散模型的應用提供新的研究范式

誠摯歡迎大家關注論文與項目進展，也期待這一工作能夠為 Live Photo 相關的計算攝影與圖像修復任務帶來新的視角與思路。