BlanketGen2-Fit3D：用于改善实世界床上被子遮挡人体姿态估计的人造被子数据增强
计算机视觉与模式识别
2025-01-22 v1
摘要
单摄像机 RGB 图像的人体姿态估计（Human Pose Estimation, HPE）是临床基于床上骨架的动作识别中的关键技术，但由于blanket经常遮挡人员，HPE模型面临独特挑战，而在此场景下的标注HPE数据稀缺。为此，我们引入BlanketGen2-Fit3D（BG2-Fit3D），这是对Fit3D数据集的一种增强，包含 1,217,312 帧带有合成逼真的blanket。为生成该数据集，我们使用了BlanketGen2，即我们新一代版BlanketGen管道，该管道利用真实的Skinned Multi-Person Linear模型（SMPL）网格模拟合成blanket，然后将其渲染为可叠加在原始帧上的透明图像。该数据集与原始Fit3D一起用于微调ViTPose-B HPE模型，以评估合成blanket增强的有效性。训练得到的模型进一步在真实世界被子遮挡床上HPE数据集（SLP数据集）上进行测试。将仅使用Fit3D训练的模型与使用我们合成blanket增强的数据集训练的模型进行比较，后者在BG2-Fit3D上的姿态估计性能显著提升（0.977 正确关键点百分比（PCK），0.149 归一化均误差（NME）），实现了绝对 4.4% 的PCK提升。此外，SLP上的测试结果表明，合成数据增强在真实世界图像上具有实用性，可实现绝对 2.3% 的PCK提升。这些结果表明，合成blanket增强有望改善从RGB图像进行床上被子遮挡HPE的效果。该数据集及代码将对公众开放。
引用
@article{arxiv.2501.12318,
title = {BlanketGen2-Fit3D: Synthetic Blanket Augmentation Towards Improving Real-World In-Bed Blanket Occluded Human Pose Estimation},
author = {Tamás Karácsony and João Carmona and João Paulo Silva Cunha},
journal= {arXiv preprint arXiv:2501.12318},
year = {2025}
}
备注
11 pages, 7 figures