基于混合镜头深度自适应融合的光场重建
图像与视频处理
2023-06-21 v3 计算机视觉与模式识别
摘要
本文探讨了从混合镜头（包括一个高分辨率相机及环绕其周围的多个低分辨率相机）重建高分辨率光场（LF）图像的问题。现有方法的性能仍受限，因为它们在平坦纹理区域产生模糊结果，或在深度不连续边界附近产生畸变。为应对这一挑战，我们提出了一种新颖的基于端到端学习的方法，可从两个互补且并行的视角综合利用输入的特性。具体而言，一个模块通过学习深度多维跨域特征表示回归出空间一致的中间估计，而另一模块通过传播高分辨率视图的信息来扭曲另一保持高频纹理的中间估计。我们最终通过学习的注意力图自适应地结合两个中间估计的优势，得到在平坦纹理区域和深度不连续边界上均具满意结果的最终高分辨率 LF 图像。此外，为提升我们用模拟混合数据训练的方法在由混合 LF 成像系统捕获的真实混合数据上的有效性，我们精心设计了网络架构与训练策略。在真实与模拟混合数据上的大量实验证明了我们的方法相较最先进方法的显著优越性。据我们所知，这是首个用于从真实混合输入进行 LF 重建的端到端深度学习方法。我们相信我们的框架有望降低高分辨率 LF 数据采集成本，并有益于 LF 数据存储与传输。
引用
@article{arxiv.2102.07085,
title = {Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses},
author = {Jing Jin and Mantang Guo and Junhui Hou and Hui Liu and Hongkai Xiong},
journal= {arXiv preprint arXiv:2102.07085},
year = {2023}
}
备注
Accepted by IEEE TPAMI. arXiv admin note: text overlap with arXiv:1907.09640