UniFormer：用于高效时空表征学习的统一 Transformer
摘要
从高维视频中学习丰富且多尺度的时空语义是一项具有挑战性的任务，原因在于视频帧间存在巨大的局部冗余与复杂的全局依赖。该研究的近期进展主要由 3D 卷积神经网络与视觉 transformers 推动。尽管 3D 卷积能从小的 3D 邻域高效聚合局部上下文以抑制局部冗余，但由于感受野有限，它缺乏捕捉全局依赖的能力。相反，视觉 transformers 可通过自注意力机制有效捕捉长程依赖，但在每一层对所有 token 进行盲目相似性比较，在降低局部冗余方面存在局限。基于这些观察，我们提出一种新颖的统一 Transformer (UniFormer)，它以简洁的 transformer 形式无缝融合了 3D 卷积与时空自注意力的优势，并在计算与精度间实现了较佳平衡。不同于传统 transformers，我们的关系聚合器通过分别在浅层与深层学习局部与全局 token 亲和性，可同时应对时空冗余与依赖。我们在流行的视频基准上进行了大量实验，例如 Kinetics-400、Kinetics-600 以及 Something-Something V1&V2。仅使用 ImageNet-1K 预训练，我们的 UniFormer 在 Kinetics-400/Kinetics-600 上达到 82.9%/84.8% 的 top-1 准确率，同时所需 GFLOPs 比其他最先进方法少 10 倍。对于 Something-Something V1 与 V2，我们的 UniFormer 分别取得了 60.9% 与 71.2% top-1 准确率的新最先进性能。代码见 https://github.com/Sense-X/UniFormer。
引用
@article{arxiv.2201.04676,
title = {UniFormer: Unified Transformer for Efficient Spatiotemporal Representation Learning},
author = {Kunchang Li and Yali Wang and Peng Gao and Guanglu Song and Yu Liu and Hongsheng Li and Yu Qiao},
journal= {arXiv preprint arXiv:2201.04676},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022; 19pages, 7 figures