用于光场超分辨率的高阶残差网络
图像与视频处理
2020-03-31 v1 计算机视觉与模式识别
摘要
全光相机通常以牺牲其子孔径图像（SAI）的空间分辨率为代价，从不同视角获取几何信息。已有若干方法被提出以缓解这种空间-角度权衡，但很少高效地利用光场（LF）数据的结构特性。本文中，我们提出一种新颖的高阶残差网络，从光场中分层学习几何特征以进行重建。所提网络的一个重要组件是高阶残差块（HRB），其通过考虑所有输入视角的信息来学习局部几何特征。在充分获取各 HRB 学习到的局部特征后，我们的模型通过全局残差学习提取具有代表性的几何特征用于空间-角度上采样。此外，后续接一个细化网络，通过最小化感知损失进一步增强空间细节。与先前工作相比，我们的模型专为光场固有的丰富结构而设计，因此可减少非朗伯与遮挡区域附近的伪影。实验结果表明，我们的方法即使在具有挑战性的区域也能实现高质量重建，并在定量测量与视觉评估上优于最先进的单图像或光场重建方法。
引用
@article{arxiv.2003.13094,
title = {High-Order Residual Network for Light Field Super-Resolution},
author = {Nan Meng and Xiaofei Wu and Jianzhuang Liu and Edmund Y. Lam},
journal= {arXiv preprint arXiv:2003.13094},
year = {2020}
}
备注
9 pages, 14 figures, accepted by the thirty-fourth AAAI Conference on Artificial Intelligence