OmniLens++：基于大规模 LensLib 预训练与潜在 PSF 表示的盲视差校正
图像与视频处理
2025-11-26 v3 计算机视觉与模式识别
机器学习
光学
摘要
新兴的基于深度学习的镜头库预训练(LensLib-PT)管线为盲视差校正提供了新途径，通过训练通用神经网络来处理多样化的未知光学退化，显示出强大的鲁棒性。本工作提出 OmniLens++ 框架，解决现有管线泛化能力受限的两个挑战：数据扩张的困难以及缺乏描述光学退化的先验指导。为提升数据可扩展性，我们扩大设计规格以增加镜头来源的退化多样性，通过量化光学退化的空间变化模式和严重程度进行更均匀的抽样。在模型设计方面，为在盲范式中利用描述光学退化的点扩散函数(PSF)作为指导，我们提出潜在 PSF 表示(LPR)方法。引入 VQ-VAE 框架学习 LensLib PSFs 的潜在特征，同时通过建模光学退化过程来约束学习退化先验。在多样化的真实镜头畸变和合成 LensLib 数据集上进行实验表明，OmniLens++ 在盲视差校正方面展现出领先的泛化能力。除性能外，AODLibpro 被证明是支撑不同畸变有效训练的可扩展基础设施，LPR 还能进一步发挥大规模 LensLib 的潜力。源代码和数据集将在 https://github.com/zju-jiangqi/OmniLens2 上公开。
引用
@article{arxiv.2511.17126,
title = {OmniLens++: Blind Lens Aberration Correction via Large LensLib Pre-Training and Latent PSF Representation},
author = {Qi Jiang and Xiaolong Qian and Yao Gao and Lei Sun and Kailun Yang and Zhonghua Yi and Wenyong Li and Ming-Hsuan Yang and Luc Van Gool and Kaiwei Wang},
journal= {arXiv preprint arXiv:2511.17126},
year = {2025}
}
备注
The source code and datasets will be made publicly available at https://github.com/zju-jiangqi/OmniLens2