Mamba-OTR：基于 Mamba 的未剪辑第一人称视频在线拿取与释放检测方案
计算机视觉与模式识别
2025-07-23 v1
摘要
本工作解决在未剪辑第一人称视频中在线检测物体拿取与释放(OTR)的问题。由于严重的标签不平衡（时间上稀疏的正样本标注）以及需要精确的时间预测，该任务具有挑战性。此外，方法需要具备计算效率以便部署于真实的在线环境中。为了应对这些挑战，我们提出了 Mamba-OTR，一种基于 Mamba 架构的模型。Mamba-OTR 旨在在推理期间利用时间递归，同时在短视频片段上进行训练。为了解决标签不平衡问题，我们的训练流程结合了 focal loss 和一种将模型预测与评估指标对齐的新型正则化方案。在 EPIC-KITCHENS-100 上的大量实验、与基于 Transformer 方法的比较，以及对不同训练和测试方案的评估，证明了 Mamba-OTR 在准确性和效率上的优越性。当评估完整视频或高帧率序列时，这些发现尤为明显，即使为了计算便利而仅在短视频片段上训练也是如此。所提出的 Mamba-OTR 在以滑动窗口方式运行时达到了值得注意的 45.48 的 mp-mAP，在流式模式下为 43.35，而原始 Transformer 为 20.32，原始 Mamba 为 25.16，从而为 OTR 提供了强有力的基线。我们将公开发布 Mamba-OTR 的源代码以支持未来的研究。
引用
@article{arxiv.2507.16342,
title = {Mamba-OTR: a Mamba-based Solution for Online Take and Release Detection from Untrimmed Egocentric Video},
author = {Alessandro Sebastiano Catinello and Giovanni Maria Farinella and Antonino Furnari},
journal= {arXiv preprint arXiv:2507.16342},
year = {2025}
}