学习多模态信息以实现鲁棒的光场深度估计
计算机视觉与模式识别
2021-04-14 v1
摘要
光场数据已被证明有助于深度估计任务。大多数基于学习的方法从 EPI 或子孔径图像估计深度信息，而较少有方法关注焦栈。现有的基于学习的从焦栈进行深度估计的方法由于离焦模糊导致次优性能。本文中，我们提出一种用于鲁棒光场深度估计的多模态学习方法。我们首先通过设计上下文推理单元分别从焦栈和 RGB 图像中提取全面的上下文信息，从而挖掘内部空间相关性。然后我们利用注意力引导的跨模态融合模块整合上下文信息。大量实验表明，我们的方法在两个光场数据集上取得了优于现有代表性方法的性能。此外，在手机数据集上的可视化结果显示我们的方法可广泛应用于日常生活。
引用
@article{arxiv.2104.05971,
title = {Learning Multi-modal Information for Robust Light Field Depth Estimation},
author = {Yongri Piao and Xinxin Ji and Miao Zhang and Yukun Zhang},
journal= {arXiv preprint arXiv:2104.05971},
year = {2021}
}