TimeGate：长程活动中片段的条件门控
计算机视觉与模式识别
2020-04-07 v1
摘要
在识别长程活动时，探索整个视频是详尽且计算昂贵的，因为它可能持续长达几分钟。因此，仅采样视频中最显著的部分至关重要。我们提出了 TimeGate，以及一个新颖的条件门控模块，用于从长程活动中采样最具代表性的片段。TimeGate 具有两个新颖之处，解决了先前采样方法（如 SCSampler）的缺点。首先，它实现了片段的可微分采样。因此，TimeGate 可以与现代 CNN 结合，并作为一个单一且统一的模型进行端到端训练。其次，采样同时以片段及其上下文为条件。因此，TimeGate 更适合长程活动，其中片段的重要性很大程度上取决于视频上下文。TimeGate 在三个长程活动基准数据集（Charades、Breakfast 和 MultiThumos）上减少了现有 CNN 的计算量。特别是，TimeGate 将 I3D 的计算量减少了 50%，同时保持了分类准确率。
引用
@article{arxiv.2004.01808,
title = {TimeGate: Conditional Gating of Segments in Long-range Activities},
author = {Noureldien Hussein and Mihir Jain and Babak Ehteshami Bejnordi},
journal= {arXiv preprint arXiv:2004.01808},
year = {2020}
}