面向细粒度动作识别的动态时空专用化学习
计算机视觉与模式识别
2022-09-07 v1
摘要
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为此，我们从人脑视觉系统获得灵感，该系统包含专门处理特定任务的专用区域。我们设计了一种新颖的动态时空专用化 (DSTS) 模块，其由专用神经元组成，这些神经元仅对高度相似的样本子集激活。在训练期间，损失迫使专用神经元学习有判别性的细粒度差异以区分这些相似样本，从而改善细粒度识别。此外，一种时空专用化方法进一步优化专用神经元的架构，以捕获更多的空间或时间细粒度信息，从而更好地应对视频中大量的时空变化。最后，我们设计了一种上游-下游学习算法，以在训练期间优化模型的动态决策，提升我们 DSTS 模块的性能。我们在两个广泛使用的细粒度动作识别数据集上取得了最先进的性能。
引用
@article{arxiv.2209.01425,
title = {Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition},
author = {Tianjiao Li and Lin Geng Foo and Qiuhong Ke and Hossein Rahmani and Anran Wang and Jinghua Wang and Jun Liu},
journal= {arXiv preprint arXiv:2209.01425},
year = {2022}
}
备注
Accepted to ECCV 2022