用于双人交互识别的双流多级动态点 Transformer
计算机视觉与模式识别
2024-05-15 v2
摘要
作为人类生活的基本方面，双人交互包含有关人们活动、关系和社会环境的有意义信息。人体动作识别是许多智能应用的基础，且高度关注个人隐私。然而，与单人动作相比，由于身体遮挡和重叠增加，识别双人交互带来了更多挑战。在本文中，我们提出了一种基于点云的网络，名为双流多级动态点 Transformer，用于双人交互识别。我们的模型通过整合局部区域空间信息、外观信息和运动信息来应对识别双人交互的挑战。为此，我们引入了一种名为间隔帧采样（Interval Frame Sampling, IFS）的帧选择方法，该方法从视频中高效采样帧，在相对较短的处理时间内捕获更具判别力的信息。随后，一个帧特征学习模块和一个双流多级特征聚合模块从采样帧中提取全局和局部特征，有效表示与交互相关的局部区域空间信息、外观信息和运动信息。最后，我们应用一个 transformer 对学到的特征进行自注意力以完成最终分类。在两个大规模数据集 NTU RGB+D 60 和 NTU RGB+D 120 的交互子集上进行了大量实验。结果表明，在大多数标准评估设置下，我们的网络优于最先进的方法。
引用
@article{arxiv.2307.11973,
title = {Two-stream Multi-level Dynamic Point Transformer for Two-person Interaction Recognition},
author = {Yao Liu and Gangfeng Cui and Jiahui Luo and Xiaojun Chang and Lina Yao},
journal= {arXiv preprint arXiv:2307.11973},
year = {2024}
}