PoseAugment：面向基于 IMU 的动作捕捉的具物理合理性的生成式人体姿态数据增强
计算机视觉与模式识别
2024-09-24 v1 人机交互
摘要
数据稀缺问题是阻碍基于 IMU 的人体动作捕捉模型性能的关键因素。然而，对基于 IMU 的动作捕捉进行有效的数据增强具有挑战性，因为它必须捕捉人体的物理关系与约束，同时维持数据分布与质量。我们提出了 PoseAugment，一种结合了基于 VAE 的姿态生成与物理优化的新颖流程。给定一个姿态序列，VAE 模块在保持数据分布的同时，生成具有高保真度与多样性的无限姿态。物理模块以最小的运动限制优化姿态以满足物理约束。随后从增强后的姿态合成高质量的 IMU 数据，用于训练动作捕捉模型。实验表明，PoseAugment 在动作捕捉精度方面优于以往的数据增强与姿态生成方法，揭示了该方法在缓解基于 IMU 的动作捕捉及由人体姿态驱动的相关任务的数据收集负担方面的巨大潜力。
引用
@article{arxiv.2409.14101,
title = {PoseAugment: Generative Human Pose Data Augmentation with Physical Plausibility for IMU-based Motion Capture},
author = {Zhuojun Li and Chun Yu and Chen Liang and Yuanchun Shi},
journal= {arXiv preprint arXiv:2409.14101},
year = {2024}
}
备注
Accepted to ECCV 2024. Code: https://github.com/CaveSpiderLZJ/PoseAugment-ECCV2024