PoseDreamer: 基于扩散模型的可扩展高真实感人体数据生成流水线
计算机视觉与模式识别
2026-03-31 v1
摘要
获取用于3D人体网格估计的标注数据集具有挑战性，原因在于深度模糊性以及从单目图像标注3D几何的内在困难。现有数据集要么是真实的，具有手动标注的3D几何但规模有限，要么是合成的，由3D引擎渲染提供精确标注但存在真实感有限、多样性低和生产成本高等问题。在本工作中，我们探索第三条路径：生成数据。我们提出了PoseDreamer，一种利用扩散模型生成大规模合成数据集并附带3D网格标注的新型流水线。我们的方法结合了可控图像生成与直接偏好优化以实现控制对齐、基于课程的高难度样本挖掘以及多阶段质量过滤。这些组件共同自然地保持了3D标签与生成图像之间的对应关系，同时优先处理困难样本以最大化数据集效用。使用PoseDreamer，我们生成了超过500,000个高质量合成样本，与基于渲染的数据集相比，图像质量指标提升了76%。在PoseDreamer上训练的模型实现了与真实世界和传统合成数据集上训练的模型相当或更优的性能。此外，将PoseDreamer与合成数据集结合的结果优于将真实世界与合成数据集结合的结果，证明了我们数据集的互补性。我们将发布完整的数据集和生成代码。
引用
@article{arxiv.2603.28763,
title = {PoseDreamer: Scalable and Photorealistic Human Data Generation Pipeline with Diffusion Models},
author = {Lorenza Prospero and Orest Kupyn and Ostap Viniavskyi and João F. Henriques and Christian Rupprecht},
journal= {arXiv preprint arXiv:2603.28763},
year = {2026}
}