CFSynthesis：可控的自由视角 3D 人体视频合成
计算机视觉与模式识别
2024-12-19 v3
摘要
人体视频合成旨在各种环境中创建逼真的人物角色，在 VR、叙事和内容创作中具有广泛应用。尽管基于 2D 扩散的方法取得了显著进展，但它们难以泛化到复杂的 3D 姿态和变化的场景背景。为了解决这些局限性，我们引入了 CFSynthesis，这是一个用于生成高质量人体视频的新颖框架，支持自定义属性，包括身份、动作和场景配置。我们的方法利用基于纹理 SMPL 的表示，以确保在自由视角下角色外观的一致性和稳定性。此外，我们引入了一种新颖的前景-背景分离策略，能有效地将场景分解为前景和背景，从而实现用户自定义背景的无缝集成。在多个数据集上的实验结果表明，CFSynthesis 不仅在复杂人体动画中取得了 SOTA 性能，还能有效适应自由视角和用户指定场景中的 3D 运动。
引用
@article{arxiv.2412.11067,
title = {CFSynthesis: Controllable and Free-view 3D Human Video Synthesis},
author = {Liyuan Cui and Xiaogang Xu and Wenqi Dong and Zesong Yang and Hujun Bao and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2412.11067},
year = {2024}
}