解耦光场用于超分辨率与视差估计
图像与视频处理
2023-07-25 v5 计算机视觉与模式识别
摘要
光场 (LF) 相机同时记录光线的强度与方向，并将三维场景编码为四维 LF 图像。近来，许多卷积神经网络 (CNNs) 被提出用于各类 LF 图像处理任务。然而，由于空间与角度信息高度交织且视差变化，CNNs 难以有效处理 LF 图像。本文中，我们提出一种通用机制，为 LF 图像处理解耦这些耦合信息。具体而言，我们首先设计一类特定域卷积从不同维度解耦 LF，随后通过设计任务专用模块来利用这些解耦特征。我们的解耦机制能很好地融入 LF 结构先验并有效处理四维 LF 数据。基于所提机制，我们开发了三个网络（即 DistgSSR、DistgASR 和 DistgDisp）分别用于空间超分辨率、角度超分辨率和视差估计。实验结果表明，我们的网络在这三项任务上均达到最先进 (state-of-the-art) 性能，证明了我们解耦机制的有效性、高效性与通用性。项目主页：https://yingqianwang.github.io/DistgLF/。
引用
@article{arxiv.2202.10603,
title = {Disentangling Light Fields for Super-Resolution and Disparity Estimation},
author = {Yingqian Wang and Longguang Wang and Gaochang Wu and Jungang Yang and Wei An and Jingyi Yu and Yulan Guo},
journal= {arXiv preprint arXiv:2202.10603},
year = {2023}
}
备注
We have corrected a mistake in Table 1 and updated Fig. 6 by using HR GT depth maps for evaluation