AttentionNAS：用于视频分类的时空注意力单元搜索
计算机视觉与模式识别
2020-08-03 v2 机器学习
图像与视频处理
摘要
卷积操作有两个局限性：(1) 由于相同的滤波器被应用于所有位置，它并未显式建模应当关注何处；(2) 由于仅在很小的邻域内运算，它不适合建模长程依赖。尽管注意力操作可以缓解这两个局限性，但使用注意力仍有许多设计选择需要确定，尤其是在将注意力应用于视频时。为了实现将注意力应用于视频的原则性方法，我们解决了时空注意力单元搜索这一任务。我们提出了一种用于时空注意力单元的新颖搜索空间，使搜索算法能够灵活探索该单元中的各种设计选择。所发现的注意力单元可以无缝插入现有的骨干网络（如 I3D 或 S3D），并在 Kinetics-600 和 MiT 数据集上都将视频分类准确率提高了 2% 以上。所发现的注意力单元在两个数据集上均优于 non-local 块，并展示了跨不同模态、骨干网络与数据集的强泛化能力。将我们的注意力单元插入 I3D-R50 可在两个数据集上取得最先进的性能。
引用
@article{arxiv.2007.12034,
title = {AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification},
author = {Xiaofang Wang and Xuehan Xiong and Maxim Neumann and AJ Piergiovanni and Michael S. Ryoo and Anelia Angelova and Kris M. Kitani and Wei Hua},
journal= {arXiv preprint arXiv:2007.12034},
year = {2020}
}
备注
ECCV 2020