瞥见云：基于非结构化特征点的人体活动识别
计算机视觉与模式识别
2018-08-22 v4
摘要
我们提出了一种基于 RGB 数据的人体活动识别方法，该方法在测试时既不依赖任何姿态信息，也不在内部显式计算姿态信息。相反，一个视觉注意力模块学习在每一帧中预测瞥见序列。这些瞥见对应于场景中与所分类活动相关的兴趣点。我们不强制瞥见位置具有空间连贯性，这使得模块可以自由地在每一帧探索不同点，并更好地优化审视视觉信息的过程。跟踪并顺序整合此类非结构化数据是一项挑战，我们通过将一组瞥见与一组循环跟踪/识别工作器分离来解决该问题。这些工作器接收瞥见，联合执行后续的运跟踪与活动预测。瞥见被软分配给工作器，利用外部记忆模块优化在空间、时间和特征空间上分配的连贯性。不采取硬决策，即每个瞥见点被分配给所有现有工作器，尽管重要性不同。我们的方法在迄今最大的可用人体活动识别数据集 NTU RGB+D Dataset 以及较小的 Northwestern-UCLA Multiview Action 3D Dataset 人体动作识别数据集上优于最先进（SOTA）方法。我们的代码公开于 https://github.com/fabienbaradel/glimpse_clouds。
引用
@article{arxiv.1802.07898,
title = {Glimpse Clouds: Human Activity Recognition from Unstructured Feature Points},
author = {Fabien Baradel and Christian Wolf and Julien Mille and Graham W. Taylor},
journal= {arXiv preprint arXiv:1802.07898},
year = {2018}
}
备注
CVPR 2018 - project page: https://fabienbaradel.github.io/cvpr18_glimpseclouds/