在线通用事件边界检测
计算机视觉与模式识别
2025-10-09 v1 图像与视频处理
摘要
通用事件边界检测 (GEBD) 旨在通过人类感知的视角来解释长时段视频。然而,当前的 GEBD 方法需要处理完整的视频帧才能做出预测,与人类实时在线处理数据相去甚远。为填补这一差距,我们提出了新的任务——在线通用事件边界检测 (On-GEBD),旨在即时检测流式视频中通用事件的边界。该任务面临独特挑战:在没有访问未来帧的情况下,实时识别细微的、无分类学的事件变化。为应对这些挑战,我们提出了受事件分段理论 (EST) 启发的新型 On-GEBD 框架,EST 解释了人类如何通过利用预测信息与实际信息之间的差异来将 ongoing activity 分段为事件。我们的框架由两个关键组件构成:Consistent Event Anticipator (CEA) 和 Online Boundary Discriminator (OBD)。具体而言,CEA 仅基于先前帧生成反映当前事件动力学的未来帧预测。然后,OBD 测量预测误差,并通过对过去错误进行统计检验来自适应地调整阈值,以捕捉多样化、细微的事件转换。实验结果表明,Estimator 超越了所有最近适用于在线视频理解模型的基准方法,并在 Kinetics-GEBD 和 TAPOS 数据集上实现了与先前离线-GEBD 方法相当的性能。
引用
@article{arxiv.2510.06855,
title = {Online Generic Event Boundary Detection},
author = {Hyungrok Jung and Daneul Kim and Seunggyun Lim and Jeany Son and Jonghyun Choi},
journal= {arXiv preprint arXiv:2510.06855},
year = {2025}
}
备注
ICCV 2025