PoseSyn：从野外 2D 数据合成多样化 3D 姿态数据
计算机视觉与模式识别
2025-03-18 v1 人工智能
摘要
尽管付出了大量努力来提高 3D 姿态估计器在无需高成本 3D 标注的情况下的泛化能力，但现有数据增强方法在真实世界场景中难以应对多样化的人体外观和复杂姿态。我们提出 PoseSyn，一种新颖的数据合成框架，将大量野外 2D 姿态数据转换为多样化的 3D 姿态图像对。PoseSyn 包含两个关键组件：误差提取模块 (EEM)，识别 2D 姿态数据集中具有挑战性的姿态；运动合成模块 (MSM)，围绕这些挑战性姿态合成运动序列。随后，通过生成与挑战性姿态和外观对齐的人类动画模型，PoseSyn 可提升各种 3D 姿态估计器在包括各种背景、遮挡、挑战性姿态以及多视角场景等真实世界基准测试中的准确率，提升幅度可达 14%。广泛实验进一步确认，PoseSyn 是一种可扩展且有效的方法，无需依赖昂贵的 3D 标注，即可提升泛化能力，无论姿态估计器的模型规模或设计如何。
引用
@article{arxiv.2503.13025,
title = {PoseSyn: Synthesizing Diverse 3D Pose Data from In-the-Wild 2D Data},
author = {ChangHee Yang and Hyeonseop Song and Seokhun Choi and Seungwoo Lee and Jaechul Kim and Hoseok Do},
journal= {arXiv preprint arXiv:2503.13025},
year = {2025}
}
备注
The first three authors contributed equally to this work