一种用于动作检测的多模态Transformer网络
计算机视觉与模式识别
2023-06-01 v1
摘要
本文提出一种新颖的多模态Transformer网络，用于在未剪辑视频中检测动作。为丰富动作特征，我们的Transformer网络利用一种新的多模态注意力机制，计算不同空间与运动模态组合间的相关性。此前尚未尝试过探索此类动作相关性。为更有效地利用运动与空间模态，我们提出一种校正由相机运动引起的运动畸变的算法。此类运动畸变在未剪辑视频中十分常见，会严重削弱光流场等运动特征的表达能力。我们提出的算法在两个公开基准THUMOS14与ActivityNet上优于现有最优方法。我们还在自建的新教学行为数据集上进行了对比实验，该数据集包含大量来自小学采集的具有挑战性的课堂视频。
引用
@article{arxiv.2305.19624,
title = {A Multi-Modal Transformer Network for Action Detection},
author = {Matthew Korban and Scott T. Acton and Peter Youngs},
journal= {arXiv preprint arXiv:2305.19624},
year = {2023}
}