基于生成先验的原始连拍图像超分辨率

连拍图像超分辨率（Burst image super resolution, BISR）旨在通过聚合多个低分辨率（LR）帧的信息来构建单个高分辨率（HR）图像，依赖于连拍中时间冗余性和空间一致性。虽然传统方法取得了令人印象深刻的结果，但它们往往在处理复杂纹理和平滑化方面存在挑战。扩散模型，特别是针对高质量数据预训练的模型，在图像和视频超分辨率中显示出在生成真实细节方面的卓越能力。然而，这些模型在BISR领域的潜力仍基本未被充分探索，因为现有方法通常依赖于从头训练的特定任务扩散模型，且仅 operate on single-frame reconstructions。本文提出了一种新颖的基于扩散的方法用于BISR（BurstGP），它利用最新基础模型的生成先验来克服上述问题。具体而言，我们在传统BISR方法之上构建了一个多帧感知扩散模型，能够以最小程度的保真度损失提升图像质量。进一步，我们引入了（i）一种新颖的退化感知条件机制，根据输入中估计的退化程度控制细节合成；以及（ii）一种鲁棒的sRGB到lRGB转换器，使我们能够利用生成的多帧（视频）sRGB先验，同时处理原始输入和lRGB输出图像。经验上，我们证明BurstGP在现有状态最佳方法之上进行了提升，无论是定量上（尤其是针对感知指标，包括MUSIQ和LPIPS）还是定性上，都表现出色。特别是，我们的方法在恢复更丰富的纹理和更细致的结构细节方面表现突出，凸显了视频先验相对于传统方法在BISR中的潜在价值。