基于循环一致性的自监督光场视角合成

高角分辨率有利于光场的实用应用。为提升光场角分辨率，可利用视角合成方法从稀疏光场输入生成稠密中间视角。大多数成功的视角合成方法为基于学习的方法，需要大量带真值标注的训练数据。然而，与自然图像或视频相比，收集此类大规模光场数据集颇具挑战。为解决该问题，我们提出一种具循环一致性的自监督光场视角合成框架。所提方法旨在将从高质自然视频数据集学到的先验知识迁移至光场视角合成任务，从而降低对标注光场数据的需求。利用循环一致性约束构建双向映射，强制生成视角与输入视角一致。基于此核心思想，采用循环损失与重建损失两个损失函数对最先进视频插值方法的预训练模型进行微调。我们在多个数据集上评估所提方法以验证其鲁棒性，结果表明其不仅取得与有监督微调相竞争的性能，且优于最先进光场视角合成方法，尤其在生成多个中间视角时。此外，我们的通用光场视角合成框架可适配于任何预训练的先进视频插值模型。