DELTA: 密集高效的长距离任意视频3D跟踪
计算机视觉与模式识别
2025-03-03 v3
摘要
从单目视频中跟踪密集3D运动仍然具有挑战性，特别是在对整个长序列进行像素级精度估计时。我们提出了 DELTA，一种能够高效跟踪3D空间中每个像素的新方法，实现对整个视频的精确运动估计。我们的方法利用联合全局-局部注意力机制进行低分辨率跟踪，随后通过基于Transformer的上采样器实现高分辨率预测。与现有方法不同，现有方法受限于计算效率低下或稀疏跟踪，DELTA 以超过先前方法8倍的速度实现密集3D跟踪，同时达到最先进的精度。此外，我们探索了深度表示对跟踪性能的影响，并确定对数深度（log-depth）为最优选择。大量实验证明了 DELTA 在多个基准上的优越性，在2D和3D密集跟踪任务中均取得了新的最先进结果。我们的方法为需要3D空间中细粒度长期运动跟踪的应用提供了鲁棒的解决方案。
引用
@article{arxiv.2410.24211,
title = {DELTA: Dense Efficient Long-range 3D Tracking for any video},
author = {Tuan Duc Ngo and Peiye Zhuang and Chuang Gan and Evangelos Kalogerakis and Sergey Tulyakov and Hsin-Ying Lee and Chaoyang Wang},
journal= {arXiv preprint arXiv:2410.24211},
year = {2025}
}
备注
ICLR 2025. Project Page: https://snap-research.github.io/DELTA/