查询事件开始的流式检测
计算机视觉与模式识别
2024-12-05 v1
摘要
机器人、自动驾驶、增强现实以及许多具身计算机视觉应用都必须快速反应用户在实时中定义的事件。我们通过提出一种新型多模态视频理解任务来解决这一问题——查询事件开始的流式检测 (SDQES)。SDQES 的目标是以高精度和低延迟识别由自然语言查询描述的复杂事件的开始。我们引入了一个新的基准数据集，基于 Ego4D 数据集，以及新的任务特定指标，以研究以类视角视频设置中流式多模态事件检测。受 NLP 中参数高效微调方法以及视频任务的启发，我们提出了基于适配器的基线方法，实现图像到视频迁移学习，允许高效的在线视频建模。我们在三个视觉-语言主干模型和三个适配器架构上进行评估，分别在短片段和未剪辑视频设置下进行测试。
引用
@article{arxiv.2412.03567,
title = {Streaming Detection of Queried Event Start},
author = {Cristobal Eyzaguirre and Eric Tang and Shyamal Buch and Adrien Gaidon and Jiajun Wu and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:2412.03567},
year = {2024}
}