用于动作识别的光流动力学校正
计算机视觉与模式识别
2023-12-19 v2 人工智能
机器学习
摘要
各种研究表明,动作识别性能高度依赖于所提取运动的类型以及人类动作被表示的准确程度。在本文中,我们研究了不同的光流,以及从这些光流中提取的捕获短期和长期运动动力的特征。我们对光流的幅度分量进行幂次归一化以进行流动力学校正,从而增强微弱运动或抑制突发运动。我们表明,依赖光流的现有动作识别模型能够利用我们校正后的光流提升性能。为了进一步提升性能,我们通过一个简单的幻觉步骤将校正后的流动力学集成到流行模型中,仅选择性能最佳的光流特征,并且我们表明通过将CNN特征图“翻译”为具有不同运动尺度的这些光流特征,在包括HMDB-51、YUP++、MPII Cooking Activities上的细粒度动作识别以及大规模Charades在内的多个基准上实现了新的最先进性能。
引用
@article{arxiv.2310.10059,
title = {Flow Dynamics Correction for Action Recognition},
author = {Lei Wang and Piotr Koniusz},
journal= {arXiv preprint arXiv:2310.10059},
year = {2023}
}
备注
Accepted by IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)