基于学习的深度解耦光场重建与视差估计应用
计算机视觉与模式识别
2023-11-15 v1
摘要
光场相机因能同时记录光强与方向而具有广泛用途。光场的角分辨率对于深度估计等下游任务十分重要，却常受硬件限制难以提升。传统方法在面对稀疏光场中大视差挑战时表现不佳，而通用 CNN 难以提取 4D 光场中耦合在一起的空间与角度特征。光场解耦机制将 4D 光场转换为 2D 图像格式，更利于 CNN 进行特征提取。本文提出一种深度解耦机制，继承光场解耦机制的原理并进一步优化特征提取器设计、引入先进网络结构。我们基于该深度解耦机制设计了光场重建网络（即 DDASR），在实验中取得 SOTA 性能。此外，针对深度估计增强实际应用中输入视角常高于 2x2 导致高显存占用的问题，我们设计了块遍历角超分辨率策略，能在降低显存占用的同时获得更好的重建性能。
引用
@article{arxiv.2311.08129,
title = {Learning based Deep Disentangling Light Field Reconstruction and Disparity Estimation Application},
author = {Langqing Shi and Ping Zhou},
journal= {arXiv preprint arXiv:2311.08129},
year = {2023}
}