用于鱼眼图像校正的双扩散架构：合成到真实的泛化
计算机视觉与模式识别
2023-01-30 v1
摘要
鱼眼图像校正长期存在一个未解决的合成到真实泛化问题。在以往大多数工作中，在合成图像上训练的模型在真实世界鱼眼图像上表现不佳。为此，我们提出一种具有更好泛化能力的双扩散架构（DDA）用于鱼眼校正。所提 DDA 同时使用成对的合成鱼眼图像和未标记真实鱼眼图像进行训练。通过逐步引入噪声，合成与真实鱼眼图像最终可演化为一致的噪声分布，从而改善泛化并实现未标记真实鱼眼校正。在现有 DDPM（去噪扩散概率模型）中，原始图像作为先验引导。然而，先验条件与目标之间不可忽略的不确定关系影响了生成性能。尤其在校正任务中，径向畸变会导致显著伪影。因此，我们提供一个无监督一遍网络，生成合理的新条件以加强引导。该网络可视为无需迭代推理即可快速产生可靠结果的替代方案。与最先进方法相比，我们的方法在合成与真实鱼眼图像校正中均能达到更优性能。
引用
@article{arxiv.2301.11785,
title = {Dual Diffusion Architecture for Fisheye Image Rectification: Synthetic-to-Real Generalization},
author = {Shangrong Yang and Chunyu Lin and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2301.11785},
year = {2023}
}