用于时序建模的近似双线性模块
计算机视觉与模式识别
2020-07-28 v1
摘要
我们考虑视频中两个较少被强调的时序特性：1. 时序线索是细粒度的；2. 时序建模需要推理。为了同时解决这两个问题，我们利用近似双线性模块（ABM）进行时序建模。使这些模块有效的两个要点是：两层 MLP 可被视为双线性运算的约束近似，因此可用于在现有 CNN 中构建深度 ABM，同时重用预训练参数；由于相邻帧中的视觉重复，帧特征可分为静态和动态部分，这使得时序建模更高效。我们研究了多种 ABM 变体和实现，从高性能到高效率。具体来说，我们展示了如何通过添加辅助分支将 CNN 中的两层子网转换为时序双线性模块。此外，我们引入了片段采样和移位推理来提升稀疏帧视频分类性能。进行了广泛的消融研究以证明所提出技术的有效性。我们的模型在 Something-Something v1 和 v2 数据集上，无需 Kinetics 预训练，就能超越大多数最先进的方法，并且在其他类似 YouTube 的动作识别数据集上也具有竞争力。我们的代码可在 https://github.com/zhuxinqimac/abm-pytorch 获取。
引用
@article{arxiv.2007.12887,
title = {Approximated Bilinear Modules for Temporal Modeling},
author = {Xinqi Zhu and Chang Xu and Langwen Hui and Cewu Lu and Dacheng Tao},
journal= {arXiv preprint arXiv:2007.12887},
year = {2020}
}
备注
8 pages, ICCV19