极焦谱：一种新颖的光场表示及其在稠密视点重建中的应用
图像与视频处理
2022-04-04 v1 计算机视觉与模式识别
摘要
现有的光场表示，如极平面图像（EPI）和子孔径图像，未考虑跨视点的结构特征，因此通常需要额外的视差和空间结构线索来完成后续任务。此外，它们在处理遮挡或较大视差场景时存在困难。为此，本文通过重新排列EPI谱，提出了一种新颖的极焦谱（EFS）表示。与经典EPI表示中一条EPI线对应特定深度不同，EFS线与其视点之间存在一一映射。相应地，与稀疏采样的光场相比，具有相同视场（FoV）的稠密采样光场在其对应EFS中相同开口角的双锥区域内导致此类线性结构更紧凑的分布。因此EFS表示对场景深度具有不变性。为证明其有效性，我们开发了一个可训练的基于EFS的光场重建流程，其中给定稀疏光场可通过补偿“缺失的EFS线”来重建稠密光场，产生具有跨视点一致性的良好结果，尤其在严重遮挡和大视差情况下。在合成与真实世界数据集上的实验结果证明了所提方法相对于SOTA方法的有效性和优越性。
引用
@article{arxiv.2204.00193,
title = {Epipolar Focus Spectrum: A Novel Light Field Representation and Application in Dense-view Reconstruction},
author = {Yaning Li and Xue Wang and Hao Zhu and Guoqing Zhou and Qing Wang},
journal= {arXiv preprint arXiv:2204.00193},
year = {2022}
}
备注
Light field representation, Epipolar Focus Spectrum (EFS), Dense light field reconstruction, Depth independent, Frequency domain