基于光场梯度的微分场景流
计算机视觉与模式识别
2019-09-24 v2 图像与视频处理
摘要
本文提出基于 4D 光场微分分析恢复 3D 稠密场景流的新技术。关键支撑结果是称为光线流方程的逐光线线性方程，它将 3D 场景流与 4D 光场梯度联系起来。光线流方程对 3D 场景结构不变且适用于一般场景类，但它是欠约束的（每方程 3 个未知量）。因此，必须施加额外约束以恢复运动。我们通过利用光线流与光流方程之间的结构相似性，发展了两类场景流算法：受相应光流方法启发的局部“Lucas-Kanade”光线流与全局“Horn-Schunck”光线流。我们还利用光场中的对应结构开发了局部-全局结合方法。我们展示了在包括旋转与非刚性运动在内的广泛场景下的高精度 3D 场景流恢复。我们通过光场结构张量（一个编码光场局部结构的 3x3 矩阵）分析了所提技术的理论与实际性能极限。我们预期所提分析与算法将促成未来光场相机在运动感知（除深度感知外）上的优化设计。
引用
@article{arxiv.1907.11637,
title = {Differential Scene Flow from Light Field Gradients},
author = {Sizhuo Ma and Brandon M. Smith and Mohit Gupta},
journal= {arXiv preprint arXiv:1907.11637},
year = {2019}
}