TRecViT：一种递归视频变换器
计算机视觉与模式识别
2026-02-17 v2 机器学习
摘要
我们提出了一种用于 \emph{因果} 视频建模的新型模块。它依赖于时间-空间-通道分解，每个维度都有专用模块：门控线性循环单元 (LRUs) 在时间上进行信息混合，自注意力层在空间上进行混合，MLP 在通道上进行处理。 resulting architecture \emph{TRecViT} 是因果的，在稀疏和密集任务上表现优异，可在监督或自监督训练 regime 中使用，成为状态空间模型 (state-space models) 家族中第一个因果视频模型。值得注意的是，我们的模型在大规模视频数据集 (SSv2, Kinetics400) 上表现出与流行的 (非因果) ViViT-L 模型相当或更好，同时参数数目少 ，内存占用小 ，FLOPs 计数降低 ，推理吞吐量可达约 300 帧/秒，能够在实时运行。与因果变换器模型 (TSM, RViT) 和其他递归模型如 LSTM 相比，TRecViT 在具有挑战性的 SSv2 数据集上取得最先进的结果。代码和模型权重可在线 https://github.com/google-deepmind/trecvit 获取。
引用
@article{arxiv.2412.14294,
title = {TRecViT: A Recurrent Video Transformer},
author = {Viorica Pătrăucean and Xu Owen He and Joseph Heyward and Chuhan Zhang and Mehdi S. M. Sajjadi and George-Cristian Muraru and Artem Zholus and Mahdi Karami and Ross Goroshin and Yutian Chen and Simon Osindero and João Carreira and Razvan Pascanu},
journal= {arXiv preprint arXiv:2412.14294},
year = {2026}
}