带噪声标签的基于骨架的人类动作识别
计算机视觉与模式识别
2024-08-07 v2 机器人学
图像与视频处理
摘要
从身体姿态理解人类动作对于共享空间的人机协作机器人至关重要，以便就其下一项交互作出明智且安全的决策。然而，对活动序列进行精确的时间局部化和标注耗时且常产生噪声标签。若未能有效处理标签噪声，将严重影响模型训练，导致识别质量下降。尽管此问题至关重要，但迄今为止在骨架基的人类动作识别中 addressing label noise 的工作仍属稀缺。本研究通过引入来自多个研究领域的标签去噪策略，为基于骨架的人类动作识别方法提供框架，以作为初始基准。观察结果显示，这些基线方法在处理稀疏骨架数据时仅取得有限性能提升。因此，我们提出了一种新方法 NoiseEraSAR，集成全局样本选择、co-teaching 和跨模态混合专家（CM-MOE）策略，旨在缓解标签噪声的负面影响。我们的方法在既定基准测试上表现更佳，达成新的最先进水平。本研究的代码可在 https://github.com/xuyizdby/NoiseEraSAR 获取。
引用
@article{arxiv.2403.09975,
title = {Skeleton-Based Human Action Recognition with Noisy Labels},
author = {Yi Xu and Kunyu Peng and Di Wen and Ruiping Liu and Junwei Zheng and Yufan Chen and Jiaming Zhang and Alina Roitberg and Kailun Yang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2403.09975},
year = {2024}
}
备注
Accepted to IROS 2024. The source code for this study is accessible at https://github.com/xuyizdby/NoiseEraSAR