为视频演化时空神经架构
计算机视觉与模式识别
2019-08-22 v2 机器学习
神经与进化计算
摘要
我们提出一种寻找视频 CNN 架构的新方法，以捕获视频中丰富的时空信息。先前工作利用 3D 卷积，通过手动设计视频 CNN 架构获得了有前景的结果。我们在此开发了一种新颖的进化搜索算法，自动探索具有不同类型和层组合的模型，以联合学习视频表示的空间与时间方面之间的相互作用。我们通过将该算法应用于两种元架构来展示其通用性，获得了优于手动设计架构的新架构。此外，我们提出一个新组件，iTGM 层，其更有效地利用其参数以允许在更长的时间跨度上学习时空相互作用。进化算法常偏好 iTGM 层，并允许构建高性价比网络。所提方法发现了先前未知的新颖且多样的视频架构。更重要的是，它们比先前的模型更准确且更快，并在我们测试的多个数据集（包括 HMDB、Kinetics 和 Moments in Time）上优于 SOTA 结果。我们将开源代码与模型，以鼓励未来的模型开发。
引用
@article{arxiv.1811.10636,
title = {Evolving Space-Time Neural Architectures for Videos},
author = {AJ Piergiovanni and Anelia Angelova and Alexander Toshev and Michael S. Ryoo},
journal= {arXiv preprint arXiv:1811.10636},
year = {2019}
}