基于 PSF 感知 Transformer 的极简高质量全景成像
计算机视觉与模式识别
2024-07-08 v2 图像与视频处理
光学
摘要
具有 360° 视场（FoV）的高质量全景图像对当代全景计算机视觉任务至关重要。然而，传统成像系统带有复杂的镜头设计和沉重的光学组件，这使其无法用于许多需要轻薄便携、极简成像系统的移动和可穿戴应用。本文中，我们提出全景计算成像引擎（PCIE）以实现极简且高质量的全景成像。借助少于三个球面透镜，基于全景环带透镜（PAL）设计构建了极简全景成像原型（MPIP），但由于像差和小的像面尺寸，其成像质量较低。我们提出两条流水线，即像差校正（AC）和超分辨率与像差校正（SR&AC），分别针对小像素尺寸和大像素尺寸的成像传感器，解决 MPIP 的图像质量问题。为利用光学系统的先验信息，我们提出点扩散函数（PSF）表示方法以生成 PSF 图作为额外模态。设计了 PSF 感知像差图像恢复 Transformer（PART）作为两条流水线的通用网络，其中自注意力计算与特征提取由 PSF 图引导。我们在仿真合成的图像对上训练 PART，并提出 PALHQ 数据集以填补真实世界高质量 PAL 图像用于底层视觉的空白。在合成与真实世界基准上的各类综合实验展示了 PCIE 令人印象深刻的成像结果及 PSF 表示方法的有效性。我们进一步给出了针对极简高质量全景成像的启发性实验发现。我们的数据集与代码将发布于 https://github.com/zju-jiangqi/PCIE-PART。
引用
@article{arxiv.2306.12992,
title = {Minimalist and High-Quality Panoramic Imaging with PSF-aware Transformers},
author = {Qi Jiang and Shaohua Gao and Yao Gao and Kailun Yang and Zhonghua Yi and Hao Shi and Lei Sun and Kaiwei Wang},
journal= {arXiv preprint arXiv:2306.12992},
year = {2024}
}
备注
Accepted to IEEE Transactions on Image Processing (TIP). The dataset and code will be available at https://github.com/zju-jiangqi/PCIE-PART