交互跟踪：具有记忆增强适应的人类在环范式
计算机视觉与模式识别
2026-04-03 v1
摘要
现有视觉跟踪器主要以非交互式、一次性工作方式运行，难以适用于需要人类在环适应的实际场景。为克服此限制，我们提出交互跟踪范式，允许用户使用自然语言命令在任何时间指导跟踪器。为支持此方向的研究，我们作出三项主要贡献。首先，我们提出 InteractTrack，首个大规模交互跟踪基准，包含 150 个视频，具备稠密边界框注释和带时间戳的语言指令。其次，我们提出全面的评估协议并评估了 25 个代表性跟踪器，表明在交互场景中领先的方法表现失效；在常规基准上的强性能无法转移。最后，我们提出交互记忆增强跟踪（IMAT），一种新型基线，采用动态记忆机制从用户反馈中学习并相应更新跟踪行为。我们的基准、协议和基线为开发更智能、自适应和协作性跟踪系统奠定了基础，弥合了自动感知与人类指导之间的鸿沟。完整基准、跟踪结果和分析已于 https://github.com/NorahGreen/InteractTrack.git 提供。
引用
@article{arxiv.2604.01974,
title = {Interactive Tracking: A Human-in-the-Loop Paradigm with Memory-Augmented Adaptation},
author = {Yuqing Huang and Guotian Zeng and Zhenqiao Yuan and Zhenyu He and Xin Li and Yaowei Wang and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2604.01974},
year = {2026}
}