用于未修剪视频动作识别的略读与扫读方法
计算机视觉与模式识别
2021-04-22 v1
摘要
视频动作识别（VAR）是视频理解的一项基本任务，而未修剪视频在真实场景更为常见。未修剪视频具有冗余且多样的包含上下文信息的片段，因此密集采样片段至关重要。近来，一些工作尝试训练通用模型以选择最具代表性的N个片段。然而，在单一模型与固定选择数目下难以建模类内片段与类间视频的复杂关系，且多种关系的纠缠也难以解释。因此，不同于“仅看一次”，我们认为“分而治之”策略更适用于未修剪VAR。受速读机制启发，我们提出一种基于略读-扫读技术的简单而有效的片段级方案。具体而言，所提Skim-Scan框架首先略读整个视频并丢弃那些无信息及误导性的片段。对于剩余片段，它逐步扫读具有多样特征的片段以丢弃冗余片段但覆盖关键内容。上述策略可根据不同视频的难度自适应选择必要片段。为权衡计算复杂度与性能，我们观察到轻量网络与重型网络间存在相似的统计表达，从而支持我们探索二者的组合。在ActivityNet与mini-FCVID数据集上进行了综合实验，结果表明我们的方案在准确率与效率上均超越最先进性能。
引用
@article{arxiv.2104.10492,
title = {Skimming and Scanning for Untrimmed Video Action Recognition},
author = {Yunyan Hong and Ailing Zeng and Min Li and Cewu Lu and Li Jiang and Qiang Xu},
journal= {arXiv preprint arXiv:2104.10492},
year = {2021}
}