VA-AR：基于混合窗口注意力学习速度感知动作表征
计算机视觉与模式识别
2025-03-17 v1
摘要
动作识别是人工智能中的一项关键任务，在各个领域具有重要意义。我们首先在五个广泛使用的数据集上对七种主流动作识别方法进行了全面分析。该分析揭示了一个关键但此前被忽视的现象：随着动作速度的增加，这些方法的性能会出现不同程度的下降，削弱了其鲁棒性。这种性能下降对其在真实世界场景中的应用构成了重大挑战。基于这些发现，我们引入了速度感知动作识别（VA-AR）框架，以获得在不同速度下均具有鲁棒性的动作表征。我们的主要洞察是，快速动作（例如，高低杠上的大回环后空翻或羽毛球中的扣杀）发生在极短的时间间隔内，需要更小的时间注意力窗口来准确捕捉复杂的变化。相反，较慢的动作（例如，喝水或擦脸）需要更大的窗口来有效涵盖更广泛的上下文。VA-AR 采用了混合窗口注意力策略，根据动作速度动态调整其注意力窗口大小。这种调整使 VA-AR 能够获得速度感知表征，从而提高动作识别的准确率。大量实验证实，VA-AR 在相同的五个数据集上实现了 SOTA 性能，证明了 VA-AR 在广泛的动作识别场景中的有效性。
引用
@article{arxiv.2503.11004,
title = {VA-AR: Learning Velocity-Aware Action Representations with Mixture of Window Attention},
author = {Jiangning Wei and Lixiong Qin and Bo Yu and Tianjian Zou and Chuhan Yan and Dandan Xiao and Yang Yu and Lan Yang and Ke Li and Jun Liu},
journal= {arXiv preprint arXiv:2503.11004},
year = {2025}
}
备注
Accepted by AAAI 2025