简单算术运算能为时间建模做些什么
计算机视觉与模式识别
2023-08-23 v2
摘要
时间建模在理解视频内容中起着关键作用。为解决这个问题，以往研究借助计算能力强大的设备的发展，通过时间序列构建复杂的时间关系。在本工作中，我们探索四种简单算术运算在时间建模中的潜力。具体而言，我们首先通过计算所提取帧特征对之间的加、减、乘、除来捕获辅助时间线索。然后，我们从这些线索中提取相应特征，以裨益于原始的无时间维度域。我们将这样一种简单流程称为算术时间模块(Arithmetic Temporal Module, ATM)，它以即插即用的方式作用于视觉骨干网络的起始部分。我们对 ATM 的实例化进行了全面的消融研究，并证明该模块以低计算成本提供了强大的时间建模能力。此外，ATM 与基于 CNN 和 ViT 的架构均兼容。我们的结果表明，ATM 在多个流行视频基准上取得了优于其他方法的性能。具体而言，在 Something-Something V1、V2 和 Kinetics-400 上，我们分别达到了 65.6%、74.6% 和 89.4% 的 top-1 准确率。代码可在 https://github.com/whwu95/ATM 获取。
引用
@article{arxiv.2307.08908,
title = {What Can Simple Arithmetic Operations Do for Temporal Modeling?},
author = {Wenhao Wu and Yuxin Song and Zhun Sun and Jingdong Wang and Chang Xu and Wanli Ouyang},
journal= {arXiv preprint arXiv:2307.08908},
year = {2023}
}
备注
Accepted by ICCV 2023