基于物理驱动与随机精炼的大气湍流图像复原
图像与视频处理
2023-07-21 v1 计算机视觉与模式识别
摘要
大气湍流引起的图像畸变是一种随机退化，是远距离光学成像系统中的关键问题。过去数十年间已有诸多研究，包括基于模型的方法以及借助合成数据的新兴深度学习方案。尽管近期已引入快速且基于物理的仿真工具，以帮助深度学习模型适应真实世界湍流条件，但此类模型的训练仅依赖于合成数据与真值对。本文提出物理集成复原网络(PiRN)，将基于物理的模拟器直接引入训练过程，以帮助网络从退化及底层图像中解耦随机性。此外，为克服确定性模型引入的“平均效应”以及合成与真实世界退化间的域差距，我们进一步提出带随机精炼的 PiRN(PiRN-SR)以提升其感知质量。总体而言，我们的 PiRN 与 PiRN-SR 提升了对真实世界未知湍流条件的泛化能力，并在像素级精度与感知质量上实现了当前最优的复原效果。我们的代码见 \url{https://github.com/VITA-Group/PiRN}。
引用
@article{arxiv.2307.10603,
title = {Physics-Driven Turbulence Image Restoration with Stochastic Refinement},
author = {Ajay Jaiswal and Xingguang Zhang and Stanley H. Chan and Zhangyang Wang},
journal= {arXiv preprint arXiv:2307.10603},
year = {2023}
}
备注
Accepted by ICCV 2023