人体动作识别：基于姿态的注意力聚焦于手部
计算机视觉与模式识别
2017-12-22 v1
摘要
我们提出一种基于时空注意力的新机制用于人体动作识别，能够自动关注参与所研究动作最多的手部，并检测动作中最具判别性的时刻。注意力以循环方式由循环神经网络（RNN）处理且完全可微。与标准基于软注意力的机制不同，我们的方法不使用RNN隐藏状态作为注意力模型的输入。相反，注意力分布利用外部信息提取：人体关节姿态。我们进行了广泛的消融研究以展示该方法的优势，并特别研究了注意力机制的条件化方面。我们在当前最大可用的人体动作识别数据集NTU-RGB+D上评估该方法，并报告了最先进（state-of-the-art）结果。我们模型的其他优势在于一定的可解释性，因为测试时的空间与时间注意力分布可用于研究和验证方法聚焦于输入数据的哪些部分。
引用
@article{arxiv.1712.08002,
title = {Human Action Recognition: Pose-based Attention draws focus to Hands},
author = {Fabien Baradel and Christian Wolf and Julien Mille},
journal= {arXiv preprint arXiv:1712.08002},
year = {2017}
}
备注
ICCV 2017 Workshop "Hands in action". arXiv admin note: text overlap with arXiv:1703.10106