基于光场图像的先前未观测物体 6DoF 跟踪
计算机视觉与模式识别
2025-12-16 v1
摘要
物体跟踪是机器人和自动驾驶管线中的重要步骤，必须能够泛化到先前未观测且复杂的物体。现有的高性能方法通常依赖预捕获的物体视图构建显式参考模型，从而限制其针对固定集合的已知物体。然而，这些参考模型在面对复杂的视觉外观时可能效果不佳，降低跟踪质量。本文引入一种基于光场图像的物体跟踪方法，不依赖预训练模型，同时对复杂视觉行为（如反射）具有鲁棒性。我们使用视觉基础模型从光场输入中提取语义和几何特征，并将其转换为视图依赖的高斯splats。这些splats作为统一的物体表示，支持可微分渲染和姿态优化。我们进一步引入了一个包含具有挑战性反射物体且具有精确真实姿态的光场物体跟踪数据集。实验表明，我们的方法在这些困难情况下与最先进的基于模型的跟踪器相当，为机器人系统中的通用物体跟踪铺平了道路。代码/数据可在 https://github.com/nagonch/LiFT-6DoF 提供。
引用
@article{arxiv.2512.13007,
title = {Light Field Based 6DoF Tracking of Previously Unobserved Objects},
author = {Nikolai Goncharov and James L. Gray and Donald G. Dansereau},
journal= {arXiv preprint arXiv:2512.13007},
year = {2025}
}