BHaRNet：面向细粒度骨架动作识别的可靠性感知身手模态专用网络
计算机视觉与模式识别
2026-01-05 v1
摘要
骨架基准的人类动作识别（HAR）已借助图神经网络取得显著进展。然而，大多数现有方法仍以身体为中心，关注大范围动作，忽略了对于细粒度识别至关重要的细微手部动作。本文提出一种概率双流框架，统一可靠性建模与多模态集成，泛化地在骨架内部和跨模态域之间进行专业化学习。该框架包含三个关键组件：（1）无校准的预处理管道，移除标准空间变换，直接从本机坐标中学习；（2）概率性 Noisy-OR 融合，在无需显式置信度监督的情况下稳定可靠性感知的双流学习；（3）从骨架内部到跨模态的集成，将四种骨架模态（关节、骨骼、关节运动和骨骼运动）与 RGB 表示相耦合，在统一的跨模态公式中桥接结构和视觉运动线索。全面评估表明，在多个基准（NTU RGB+D~60/120、PKU-MMD、N-UCLA）以及一个新构建的手部中心基准上，方法在噪声和异构条件下均实现一致的改进和鲁棒性。
引用
@article{arxiv.2601.00369,
title = {BHaRNet: Reliability-Aware Body-Hand Modality Expertized Networks for Fine-grained Skeleton Action Recognition},
author = {Seungyeon Cho and Tae-kyun Kim},
journal= {arXiv preprint arXiv:2601.00369},
year = {2026}
}
备注
16 pages; 8 figures. Extension of previous conference paper. Project page: https://github.com/VinnyCSY/BHaRNet