DRiVE：基于扩散模型的三维人物角色 rigging 生成 versatile and expressive characters
计算机视觉与模式识别
2024-11-27 v1
摘要
近期生成模型的进展使从多模态数据实现高质量的 3D 人物重建成为可能。然而，对这些生成的人物进行动画处理仍然是一个具有挑战性的任务，尤其是对于像服装和头发这样复杂的元素，因为缺乏大规模数据集和有效的 rigging 方法。为此，我们 curated 了一个名为 AnimeRig 的大规模数据集，包含详细的骨骼和皮肤注释。基于此，我们提出了 DRiVE，一个用于生成和 rigging 具有复杂结构的 3D 人类角色的新型框架。与现有方法不同，DRiVE 使用 3D 高斯表示，实现了高效动画和高质量渲染。我们进一步引入了 GSDiff，一种基于 3D 高斯的扩散模块，用于预测关节位置的空间分布，克服了基于回归的方法的局限性。大量实验表明，DRiVE 实现了精确的 rigging 结果，使服装和头发能够实现逼真的运动动态，并在质量和 versatile 性方面超越了以前的方法。代码和数据集将在论文被接受后公开供学术使用。
引用
@article{arxiv.2411.17423,
title = {DRiVE: Diffusion-based Rigging Empowers Generation of Versatile and Expressive Characters},
author = {Mingze Sun and Junhao Chen and Junting Dong and Yurun Chen and Xinyu Jiang and Shiwei Mao and Puhua Jiang and Jingbo Wang and Bo Dai and Ruqi Huang},
journal= {arXiv preprint arXiv:2411.17423},
year = {2024}
}