STORM：从单张图像进行分段、跟踪与目标重新定位
计算机视觉与模式识别
2026-05-14 v3
摘要
准确的 6 维姿态估计和跟踪是物理 AI 系统的核心能力，但实际部署仍脆弱且代价高昂。许多管道依赖 CAD 模型、手动掩码或按对象适配，仍在遮挡或快速运动时失败，且缺乏原则性方法来识别失败。我们提出 STORM，一个统一的框架，用于从单张参考图像进行参考条件下的 6 维跟踪，具有最小的人工输入和 improved robustness。STORM 结合了：(i) 层次空间融合注意 (HSFA)，一种支持单参考和多参考条件的任务驱动参考-查询融合架构，可选用视觉-语言语义条件以解决实例歧义；以及 (ii) 使用 BCE 训练的跟踪验证器，其连续兼容性得分用作类似能量的评分，用于检测漂移并触发自动重新初始化。在 LM-O 和 YCB-Video 数据集上的实验表明，STORM 在强大的基线之上实现了无注释 6 维姿态跟踪精度的提升，并能在严重遮挡和快速视角变化时可靠恢复，同时开销最小。
引用
@article{arxiv.2511.09771,
title = {STORM: Segment, Track, and Object Re-Localization from a Single Image},
author = {Yu Deng and Teng Cao and Hikaru Shindo and Quentin Delfosse and Jiahong Xue and Kristian Kersting},
journal= {arXiv preprint arXiv:2511.09771},
year = {2026}
}
备注
21 pages. Accepted at the 43rd International Conference on Machine Learning (ICML 2026); camera-ready version