DiffStereo：面向高频信息的立体图像恢复扩散模型
计算机视觉与模式识别
2025-01-20 v1
摘要
扩散模型 (DM) 在图像修复中取得了令人期待的性能，但在立体图像领域却鲜有探索。将 DM 应用于立体图像修复面临一系列挑战：重建两幅图像加剧了 DM 的计算成本。此外，现有潜在 DM 通常聚焦于语义信息，在潜在压缩过程中将高频细节视为冗余信息，而这些细节恰是图像修复所关乎的。为此，我们提出一种面向高频信息的扩散模型 DiffStereo，用于立体图像修复，首次尝试将 DM 引入该领域。具体而言，DiffStereo 首先学习高质量图像的高频表示 (LHFR)，随后在所学空间中训练 DM 以估计立体图像的 LHFR，这些表示被融合到基于 Transformer 的立体图像修复网络中，提供来自对应高质量图像的有益高频信息。LHFR 的分辨率保持与输入图像一致，这保留了失真图像的固有纹理。通道压缩有助于缓解 DM 的计算负担。此外，我们设计了一种位置编码方案，将 LHFR 整合到修复网络中，实现对不同深度修复网络的独特引导。全面实验验证表明，通过将生成式 DM 与 Transformer 相结合，DiffStereo 在立体图像超分辨、去模糊和低光增强等任务上，相较于最先进的方法，在重建精度和感知质量方面实现了双重提升。
关键词
引用
@article{arxiv.2501.10325,
title = {DiffStereo: High-Frequency Aware Diffusion Model for Stereo Image Restoration},
author = {Huiyun Cao and Yuan Shi and Bin Xia and Xiaoyu Jin and Wenming Yang},
journal= {arXiv preprint arXiv:2501.10325},
year = {2025}
}
备注
9 pages, 6 figures