合成数据增强在可控人类视频生成中的作用探索
计算机视觉与模式识别
2026-04-24 v1 人工智能
摘要
可控人类视频生成旨在生成具有显式引导运动和外观的逼真人类视频，为数字人类、动画和具身AI提供基础。然而，稀缺的大规模、多样且具有隐私安全的人类视频数据集已成为主要瓶颈，尤其是针对稀有身份和复杂动作。合成数据提供了可扩展且可控的替代方案，但其实际对生成模型的贡献仍未得到充分探索，由于存在持续的Sim2Real鸿沟。本文系统性地调查了合成数据对可控人类视频生成的影响。我们提出一种基于扩散的框架，使其能够对外观和运动进行细粒度控制，同时提供统一的测试平台来分析合成数据如何与真实世界数据交互。通过大量实验，我们揭示了合成数据与真实数据的互补作用，并演示了高效选择合成样本以增强运动真实性、时间一致性和身份保持的方法。我们的研究为合成数据在人类中心视频合成中的作用提供了首次的全面探索，并为构建数据高效和通用的生成模型提供了实用见解。
引用
@article{arxiv.2604.21291,
title = {Exploring the Role of Synthetic Data Augmentation in Controllable Human-Centric Video Generation},
author = {Yuanchen Fei and Yude Zou and Zejian Kang and Ming Li and Jiaying Zhou and Xiangru Huang},
journal= {arXiv preprint arXiv:2604.21291},
year = {2026}
}