SimAvatar：带分层发丝与服装的仿真就绪 Avatar

我们提出 SimAvatar，一个用于从文本提示生成仿真就绪服装 3D 人类 Avatar 的框架。当前的文本驱动的人类 Avatar 生成方法要么将头发、服装和人体建模为统一几何，要么产生的头发和服装难以适用于现有仿真管道。主要挑战在于以一种方式表示头发和服装几何，既能利用来自基础图像扩散模型（如 Stable Diffusion）的先验知识，又能通过物理或神经仿真器实现仿真就绪。为此，我们提出了一个两阶段框架，将 3D 高斯的灵活性与仿真就绪的头发丝和服装网格结合起来。具体而言，我们首先使用三个文本条件 3D 生成模型从给定文本提示生成服装网格、人体形状和头发丝。为利用来自基础扩散模型的先验知识，我们将 3D 高斯附加到人体网格、服装网格以及头发丝上，并通过优化学习 Avatar 的外观。为驱动给定姿态序列的 Avatar，我们首先对服装网格和头发丝应用物理仿真器。随后通过为每个身体部位精心设计的机制将运动传递到 3D 高斯上。结果是，我们合成的 Avatar 具有丰富的纹理和真实的动态运动。据我们所知，我们的方法是首次产生高度真实、完全仿真就绪的 3D Avatar，超越了当前方法的能力。