Hi5：面向包容性、稳健性的人体姿态估计的合成数据
计算机视觉与模式识别
2026-01-21 v2 图形学
机器学习
摘要
人体姿态估计在捕捉理解人类情感中至关重要的细微非语言线索方面发挥着重要作用。然而，收集具有多样性和表达性的真实世界数据 remains 挑战性，这是由于劳动密集的手动标注往往不足以代表人口统计多样性和自然表达。为此，我们提出一种基于高保真 3D 手模型和广泛情感手姿态范围的低成本合成数据生成方法。我们的方法包括多样化的皮肤色调、性别、动态环境、真实光照条件以及多样化的自然发生手势动画。最终生成的数据集 Hi5 包含 583,000 张带姿态标注的图像，精心平衡以反映自然的多样性和情感表达。仅使用 Hi5 训练的模型在性能上与人工标注数据集相当，对遮挡具有更好的鲁棒性，并且在多样化皮肤色调上保持一致的准确性——这在 affective computing 应用中可靠识别表达性手势方面至关重要。我们的结果表明，合成数据有效地解决了现有数据集的关键局限性，使 gesture recognition 系统更具包容性、表达性和可靠性，同时在姿态估计基准测试中实现了竞争性能。Hi5 数据集、数据合成管道、source code 以及游戏引擎项目均公开发布，以支持进一步的合成手势应用研究。
引用
@article{arxiv.2406.03599,
title = {Hi5: Synthetic Data for Inclusive, Robust, Hand Pose Estimation},
author = {Masum Hasan and Cengiz Ozel and Nina Long and Alexander Martin and Samuel Potter and Tariq Adnan and Sangwu Lee and Ehsan Hoque},
journal= {arXiv preprint arXiv:2406.03599},
year = {2026}
}