Champ: 基于 3D 参数化引导的可控且一致的人体图像动画
计算机视觉与模式识别
2024-06-04 v2
摘要
在本研究中，我们引入了一种人体图像动画方法，在潜在扩散框架内利用 3D 人体参数化模型，以增强当前人体生成技术中的形状对齐与运动引导。该方法利用 SMPL（Skinned Multi-Person Linear）模型作为 3D 人体参数化模型，以建立体型和姿态的统一表示。这有助于从源视频中准确捕捉复杂的人体几何与运动特征。具体而言，我们整合了从 SMPL 序列获得的渲染深度图像、法线图和语义图，以及基于骨架的运动引导，以包含全面的 3D 形状和详细的姿态属性来丰富对潜在扩散模型的条件。采用集成自注意力机制的多层运动融合模块，在空间域融合形状与运动潜在表示。通过将 3D 人体参数化模型表示为运动引导，我们可以在参考图像与源视频运动之间进行人体的参数化形状对齐。在基准数据集上进行的实验评估表明，该方法在生成准确捕捉姿态和形状变化的高质量人体动画方面具有卓越能力。此外，我们的方法在所提出的自然场景数据集上也展现出优异的泛化能力。项目页面：https://fudan-generative-vision.github.io/champ。
引用
@article{arxiv.2403.14781,
title = {Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance},
author = {Shenhao Zhu and Junming Leo Chen and Zuozhuo Dai and Qingkun Su and Yinghui Xu and Xun Cao and Yao Yao and Hao Zhu and Siyu Zhu},
journal= {arXiv preprint arXiv:2403.14781},
year = {2024}
}