SiT-MLP：一种用于基于骨架动作识别的带点级拓扑特征学习的简单MLP
计算机视觉与模式识别
2024-04-09 v4
摘要
图卷积网络(GCNs)在基于骨架的动作识别中取得了卓越性能。然而，先前基于GCN的方法过度依赖精细的人体先验并构建复杂的特征聚合机制，限制了网络的泛化性与有效性。为解决这些问题，我们提出一种新颖的空间拓扑门控单元(STGU)——一种无额外先验的基于MLP的变体，以捕获编码所有关节间空间依赖关系的共现拓扑特征。在STGU中，为学习点级拓扑特征，引入一种新的基于门的特征交互机制，通过由输入样本生成的注意力图逐点激活特征。基于STGU，我们在本工作中提出首个用于基于骨架动作识别的基于MLP的模型SiT-MLP。在三个大规模数据集上与先前方法的比较表明，SiT-MLP取得了具竞争力的性能。此外，SiT-MLP显著减少了参数量且结果良好。代码将发布于https://github.com/BUPTSJZhang/SiT?MLP。
引用
@article{arxiv.2308.16018,
title = {SiT-MLP: A Simple MLP with Point-wise Topology Feature Learning for Skeleton-based Action Recognition},
author = {Shaojie Zhang and Jianqin Yin and Yonghao Dang and Jiajun Fu},
journal= {arXiv preprint arXiv:2308.16018},
year = {2024}
}
备注
Accepted by IEEE TCSVT 2024