利用卷积块注意力模块的光场视图合成
图像与视频处理
2021-06-01 v2
摘要
由于角度-空间权衡，消费级光场（LF）相机分辨率较低或受限。为缓解这一缺陷，我们提出了一种基于学习的新方法，利用注意力机制，从相机阵列的稀疏输入视图集（即4个角视图）合成光场图像的新视图。在所提方法中，我们将过程分为三个阶段：立体特征提取、视差估计和最终图像细化。每个阶段我们使用三个顺序卷积神经网络。采用残差卷积块注意力模块（CBAM）进行最终自适应图像细化。注意力模块有助于学习并更聚焦于图像的重要特征，因此按顺序应用于通道和空间维度。实验结果显示了所提方法的鲁棒性。在两个具有挑战性的真实世界数据集上，我们提出的网络以平均 0.5 dB 优于最先进的基于学习的光场视图合成方法。此外，我们提供了消融实验以证实我们的发现。
引用
@article{arxiv.2012.01900,
title = {Light-field view synthesis using convolutional block attention module},
author = {M. Shahzeb Khan Gul and Umair Mukati and Michel Bätz and Søren Forchhammer and Joachim Keinert},
journal= {arXiv preprint arXiv:2012.01900},
year = {2021}
}