基于时间缓冲的流式视频在线动作检测
计算机视觉与模式识别
2020-10-08 v1
摘要
我们提出了直播流式视频中的在线时序动作检测问题，并指出了直播流式视频的一个重要特性：最新捕获的帧与观众实际观看的帧之间通常存在广播延迟。在线动作检测任务的标准设定要求在新帧捕获后立即进行预测。我们说明，该设定由于未考虑此延迟而对模型施加了不必要的约束，因此不适用于此问题。我们提议采用一种允许模型利用直播流式视频中由延迟引起的微小“缓冲时间”的问题设定。针对这一带缓冲的在线设定，我们设计了一个动作起始与结束检测框架，包含两个主要组件：扁平化 I3D 与基于窗口的抑制。在三个标准时序动作检测基准上、于所提设定下进行的实验证明了该框架的有效性。我们表明，通过为此具有广泛应用的问题配备合适的问题设定，相比现成的在线动作检测模型，我们能够实现明显更好的检测精度。
引用
@article{arxiv.2010.03016,
title = {Online Action Detection in Streaming Videos with Time Buffers},
author = {Bowen Zhang and Hao Chen and Meng Wang and Yuanjun Xiong},
journal= {arXiv preprint arXiv:2010.03016},
year = {2020}
}