HDBN：一种用于稳健骨架基动作识别的新型混合双分支网络
计算机视觉与模式识别
2024-04-26 v2 人工智能
摘要
骨架基动作识别因其利用简洁且稳健的骨架表示而受到广泛关注。然而，当前方法往往依赖单一网络主干来建模骨架模态，这受限于网络主干的内在缺陷。为充分利用各种网络架构的互补特性，我们提出了一种新型混合双分支网络(HDBN)，用于稳健的骨架基动作识别，该网络同时受益于图卷积网络处理图结构数据和Transformer对全局信息建模能力的强大性能。具体而言，我们提出的HDBN由两个主干分支构成：MixGCN和MixFormer。两个分支分别利用GCN和Transformer来建模2D和3D骨架模态。我们提出的HDBN在2024年 ICME大型挑战赛MMVRAC中获得了大多数现有方法的优势，在UAV-Human数据集的两个基准数据集上分别实现了47.95%和75.36%的准确率。我们的代码将在GitHub上公开：https://github.com/liujf69/ICMEW2024-Track10。
关键词
引用
@article{arxiv.2404.15719,
title = {HDBN: A Novel Hybrid Dual-branch Network for Robust Skeleton-based Action Recognition},
author = {Jinfu Liu and Baiqiao Yin and Jiaying Lin and Jiajun Wen and Yue Li and Mengyuan Liu},
journal= {arXiv preprint arXiv:2404.15719},
year = {2024}
}