通过向量量化表示域混合光学退化以实现真实世界计算像差校正
计算机视觉与模式识别
2024-11-08 v2 机器人学
图像与视频处理
光学
摘要
现有的基于学习的计算像差校正（CAC）方法依赖配对的合成数据，面临复杂多面的合成到真实域差距，导致在真实世界应用中性能欠佳。本文中，与改进模拟流程的思路不同，我们从无监督域适应（UDA）的角度为真实世界CAC提供了新见解。通过将易于获取的非配对真实世界数据纳入训练，我们形式化了域自适应CAC（DACAC）任务，并引入了一个全面的真实世界像差图像（Realab）数据集作为基准。由于理解目标光学退化域的复杂性，该设定任务极具挑战性。为此，我们提出了一种新颖的量化域混合表示（QDMR）框架作为该问题的有效解决方案。QDMR围绕表示和量化在不同图像间一致的光学退化，从三个关键方面使CAC模型适应目标域：(1) 通过VQGAN重建两个域的像差图像，学习表征光学退化的域混合码本（DMC）；(2) 用DMC调制CAC模型中的深度特征以传递目标域知识；(3) 利用训练好的VQGAN从源图像生成伪目标像差图像，以提供可信的目标域监督。在合成和真实世界基准上的大量实验表明，采用QDMR的模型在缩小合成到真实差距方面持续优于竞争方法，能产生视觉愉悦且伪影更少的真实世界CAC结果。代码和数据集已在 https://github.com/zju-jiangqi/QDMR 公开。
引用
@article{arxiv.2403.10012,
title = {Representing Domain-Mixing Optical Degradation for Real-World Computational Aberration Correction via Vector Quantization},
author = {Qi Jiang and Zhonghua Yi and Shaohua Gao and Yao Gao and Xiaolong Qian and Hao Shi and Lei Sun and JinXing Niu and Kaiwei Wang and Kailun Yang and Jian Bai},
journal= {arXiv preprint arXiv:2403.10012},
year = {2024}
}
备注
Accepted to Optics & Laser Technology. Codes and datasets are made publicly available at https://github.com/zju-jiangqi/QDMR