用于视频动作分类的双流时序Transformer
计算机视觉与模式识别
2026-01-21 v1 人工智能
机器学习
摘要
运动表示在视频理解中扮演着重要角色，并具有包括动作识别、机器人与自主导航等在内的多种应用。近来，Transformer网络凭借其自注意力机制的能力，已在众多应用中证明了其有效性。在本研究中，我们提出了一种新的双流Transformer视频分类器，该分类器从内容帧和表示运动信息的光流中提取时空信息。所提出的模型识别跨联合光流与时序帧域的自注意力特征，并在Transformer编码器机制内表示它们之间的关系。实验结果表明，我们提出的方法在三个著名的人类活动视频数据集上均取得了优异的分类结果。
引用
@article{arxiv.2601.14086,
title = {Two-Stream temporal transformer for video action classification},
author = {Nattapong Kurpukdee and Adrian G. Bors},
journal= {arXiv preprint arXiv:2601.14086},
year = {2026}
}