基于时空-角度分解核的纹理增强光场超分辨率
图像与视频处理
2022-03-07 v2 计算机视觉与模式识别
摘要
尽管卷积神经网络在光场超分辨率（LFSR）上取得了近期进展，但由于4D光场（LF）数据的复杂性，其相关性信息尚未被充分研究与利用。为应对此类高维LF数据，多数现有LFSR方法诉诸将其分解为较低维度并随后在分解子空间上执行优化。然而，这些方法固有受限，因为它们忽视了分解操作的特征，且仅利用了有限的LF子空间集合，最终未能充分提取时空-角度特征并导致性能瓶颈。为克服这些局限，本文中我们全面发掘LF分解的潜力并提出分解核的新概念。具体而言，我们将各类子空间的分解操作系统地统一为一系列此类分解核，并将其整合进我们提出的分解核网络（DKNet）中以进行全面时空-角度特征提取。所提DKNet经实验验证相较SOTA方法取得显著提升。为进一步提升DKNet以生成更具视觉愉悦感的LFSR结果，我们基于VGG网络提出LFVGG损失，引导纹理增强DKNet（TE-DKNet）生成丰富真实纹理并显著增强LF图像视觉质量。我们还利用LF材质识别提出一种间接评价指标，以客观评估LFVGG损失带来的感知增强。
引用
@article{arxiv.2111.04069,
title = {Texture-enhanced Light Field Super-resolution with Spatio-Angular Decomposition Kernels},
author = {Zexi Hu and Xiaoming Chen and Henry Wing Fung Yeung and Yuk Ying Chung and Zhibo Chen},
journal= {arXiv preprint arXiv:2111.04069},
year = {2022}
}
备注
Accepted by IEEE TIM