中文

Gen4D:野外环境下人物与场景的 4D 合成生成

图形学 2025-06-09 v1 人工智能

摘要

野外活动缺乏输入数据,导致在 various 计算机视觉任务中性能低下。这一挑战在以人类为中心的非常规领域(如运动项目)尤为突出,因为现实世界数据收集复杂且不实用。虽然合成数据集提供了有前景的替代方案,但现有方法通常因依赖刚性资产库和手工制作的渲染管道,导致人类外观、运动和场景构图的多样性有限。为此,我们引入 Gen4D,一个用于生成多样且照片级 4D 人类动画的全自动管道。Gen4D 集成了专家驱动的运动编码、基于扩散模型的高斯溅射提示导向头像生成,以及人类感知的背景合成,以产生高度多变且逼真的人类序列。基于 Gen4D,我们提出 SportPAL,一个覆盖 baseball、冰球和足球三个运动的大规模合成数据集。Gen4D 与 SportPAL 为构建针对野外人类为中心的视觉任务的可扩展合成数据集提供了基础,无需手动 3D 模型或场景设计。

关键词

引用

@article{arxiv.2506.05397,
  title  = {Gen4D: Synthesizing Humans and Scenes in the Wild},
  author = {Jerrin Bright and Zhibo Wang and Yuhao Chen and Sirisha Rambhatla and John Zelek and David Clausi},
  journal= {arXiv preprint arXiv:2506.05397},
  year   = {2025}
}

备注

Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops