基于事件的相机跟踪器：通过 $\nabla$t NeRF 实现
计算机视觉与模式识别
2023-04-11 v1
摘要
当相机穿越 3D 世界时，仅有少量像素值发生变化；基于事件的相机将这种变化观测为稀疏事件。我们如何利用稀疏事件高效恢复相机位姿？我们展示可通过最小化稀疏事件与表示为神经辐射场（NeRF）的场景时间梯度之间的误差来恢复相机位姿。为计算场景的时间梯度，我们将 NeRF 的相机位姿增强为时间函数。当输入 NeRF 的位姿与实际位姿一致时，NeRF 时间梯度的输出等于事件点上观测到的强度变化。利用该原理，我们提出一种称为 TeGRA 的基于事件的相机位姿跟踪框架，其利用稀疏事件观测实现位姿更新。据我们所知，这是首个使用场景隐式表示与来自事件的稀疏强度变化的相机位姿估计算法。
引用
@article{arxiv.2304.04559,
title = {Event-based Camera Tracker by $\nabla$t NeRF},
author = {Mana Masuda and Yusuke Sekikawa and Hideo Saito},
journal= {arXiv preprint arXiv:2304.04559},
year = {2023}
}