FalconTrack：照片级真实感自动标注感知与物理感知的视觉空中跟踪
机器人学
2026-06-29 v1 人工智能
计算机视觉与模式识别
摘要
视觉空中跟踪在 GPS 拒止环境中至关重要。用于跟踪的可靠感知依赖于大规模标注数据，然而大多数照片级真实感数据集依赖繁重的人工标注且制作耗时。我们提出 FalconTrack，一个统一的感知与跟踪框架，它 (i) 利用照片级真实感可编辑模拟器进行自动标签生成，并且 (ii) 将多头感知与物理感知跟踪相结合，以实现零样本 sim-to-real 迁移。FalconTrack 在 Gaussian Splatting 模拟器中提供自动标注流水线，从短物体视频中分离目标 Gaussians，并将其与随机背景合成以生成 RGB、掩码、类别和 6-DoF 位姿标签，在 20 分钟内产生约 10k 张标注图像。使用该数据集，我们训练了一个具有分阶段学习和重投影一致性的多头感知模块，并在 EKF 中将其输出与类别条件化动力学先验融合以进行跟踪。我们的感知模型优于两个基线，在三个几何形状多样的物体和两个环境中实现了 96-100% 的零样本 sim-to-real 迁移类别准确率，同时在未见过的模拟和真实场景中保持一致的性能。在真实硬件闭环视觉跟踪中，机载系统以约 25 Hz 运行，在两个环境中的五条轨迹上实现了 100% 的 sim-to-real F1-tenth 和门跟踪成功率，而以掩码为中心的视觉基线在视野外快速移动场景下的 F1-tenth 成功率降至 60%。
引用
@article{arxiv.2606.29783,
title = {FalconTrack: Photorealistic Auto-Labeled Perception and Physics-Aware Vision-Based Aerial Tracking},
author = {Yan Miao and Karteek Gandiboyina and Noah Giles and Hideki Okamoto and Bardh Hoxha and Georgios Fainekos and Sayan Mitra},
journal= {arXiv preprint arXiv:2606.29783},
year = {2026}
}