用于 RGB-D 手势识别的带区域注意力与架构重建三维网络
计算机视觉与模式识别
2021-03-10 v2
摘要
人体手势识别在计算机视觉领域备受关注。然而，手势识别的性能常受一些与手势无关的因素影响，如背景和表演者的衣着。因此，关注手/臂区域对手势识别十分重要。同时，相比 Resnet 等模块固定的网络，更具适应性的架构搜索网络结构能更好地增加网络不同阶段的多样性从而表现更优。本文提出一种用于手势识别的带区域注意力与架构重建三维网络(RAAR3DNet)。我们通过神经架构搜索(Neural Architecture Search, NAS)以自动重建的结构替换固定的 Inception 模块，这是由于网络早期、中期和后期特征的形状与表征能力不同。它使网络能更自适应地在不同层捕获不同层次的特征表示。同时，我们还设计了一个可堆叠的区域注意力模块，称为动态-静态注意力(Dynamic-Static Attention, DSA)，其导出高斯引导热图与动态运动图，分别用于在空间和时间域中突出手/臂区域与运动信息。在两个近期大规模 RGB-D 手势数据集上的大量实验验证了所提方法的有效性，并表明其优于当前最优方法。我们的方法代码见：https://github.com/zhoubenjia/RAAR3DNet。
引用
@article{arxiv.2102.05348,
title = {Regional Attention with Architecture-Rebuilt 3D Network for RGB-D Gesture Recognition},
author = {Benjia Zhou and Yunan Li and Jun Wan},
journal= {arXiv preprint arXiv:2102.05348},
year = {2021}
}
备注
Accepted by AAAI 2021