基于虚拟连接的面部人体动作识别自适应超图卷积网络
计算机视觉与模式识别
2025-08-05 v3 机器学习
摘要
人类骨架的共享拓扑结构激发了最近针对动作识别的图卷积网络（GCN）解决方案的研究。然而，大多数现有 GCNs 依赖由边（骨骼）形成的两个相邻顶点（关节）的二元连接，忽略了构建多顶点卷积结构的潜在价值。虽然一些研究尝试利用超图来表示拓扑结构，但它们依赖于固定的构建策略，限制了其在揭示动作中复杂潜在关系方面的适应性。本文针对这一疏漏，探索了自适应超图卷积网络（Hyper-GCN）的优势，以实现对由骨架顶点传递的丰富语义信息的聚合。具体而言，我们的 Hyper-GCN 在训练期间自适应地优化超图，揭示由动作驱动的多顶点关系。此外，常设计虚拟连接以支持高效特征聚合，隐式地扩展了骨架内部的依赖范围。通过将虚拟连接注入超图中，可以突出显示不同动作类别的语义线索。在 NTU-60、NTU-120 和 NW-UCLA 数据集上的实验结果表明，我们的 Hyper-GCN 在多数最先进的方法之上。代码可在 https://github.com/6UOOON9/Hyper-GCN 查看。
引用
@article{arxiv.2411.14796,
title = {Adaptive Hyper-Graph Convolution Network for Skeleton-based Human Action Recognition with Virtual Connections},
author = {Youwei Zhou and Tianyang Xu and Cong Wu and Xiaojun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2411.14796},
year = {2025}
}