识别具有变化节奏的视频事件
计算机视觉与模式识别
2020-01-16 v1
摘要
在具有多个子活动的长而复杂的视频中识别视频事件近期持续受到关注。该任务比使用短且相对同质视频片段的传统动作识别更具挑战性。本文中，我们研究识别具有变化动作节奏的长而复杂事件的问题，该问题在文献中尚未被考虑，但却是一个实际挑战。我们的工作部分受人类如何识别具有变化节奏的事件启发：快速捕捉对特定事件贡献最大的帧。我们提出一个两阶段端到端框架，其中第一阶段选择最显著的帧，而第二阶段使用所选帧识别事件。我们的模型在训练阶段仅需要事件级标签，因此在子活动标签缺失或难以获取时更为实用。大量实验结果表明，我们的模型能在长视频事件识别中取得显著改进，同时即使测试视频遭受严重节奏变化也能保持高准确率。这展示了我们的方法在基于视频的真实世界应用中的潜力，其中测试与训练视频的子活动节奏可能差异巨大。
引用
@article{arxiv.2001.05060,
title = {Recognizing Video Events with Varying Rhythms},
author = {Yikang Li and Tianshu Yu and Baoxin Li},
journal= {arXiv preprint arXiv:2001.05060},
year = {2020}
}