基于成本体积融合的长期 3D 点跟踪
计算机视觉与模式识别
2024-07-19 v1
摘要
长期点跟踪是更好地理解物理世界中非刚性运动的关键。深度学习方法最近被用于长期点跟踪，但大多数先前工作主要在二维中实现。尽管这些方法受益于成熟的 backbone 和匹配框架，但其产生的运动在 3D 物理世界中并不总是合理。本文提出了第一个适用于 3D 长期点跟踪的深度学习框架，能够对新点和视频进行泛化，而无需在测试时进行微调。我们的模型包含一个成本体积融合模块，通过变换器架构有效整合多个过去的外观信息和运动信息，显著提升整体跟踪性能。就 3D 跟踪性能而言，我们的模型在简单场景流链和以前的 2D 点跟踪方法上显著优于后者，即使在一个使用 ground truth 深度和相机姿态对 2D 点轨迹进行 backprojection 的合成情境下也如此。
引用
@article{arxiv.2407.13337,
title = {Long-Term 3D Point Tracking By Cost Volume Fusion},
author = {Hung Nguyen and Chanho Kim and Rigved Naukarkar and Li Fuxin},
journal= {arXiv preprint arXiv:2407.13337},
year = {2024}
}