从文本描述生成解耦的穿衣人体化身
计算机视觉与模式识别
2024-09-27 v2
摘要
在本文中，我们引入了一种新颖的文本到化身生成方法，该方法分别生成人体和衣服，并允许对生成的化身进行高质量动画处理。虽然最近在文本到化身生成方面的进展已经能够从文本提示中生成多样化的人类化身，但这些方法通常将所有元素——衣服、头发和身体——结合成单一的 3D 表示。这种纠缠的方法给编辑或动画等下游任务带来了挑战。为了克服这些限制，我们提出了一种名为 Sequentially Offset-SMPL (SO-SMPL) 的新颖解耦 3D 化身表示，它建立在 SMPL 模型之上。SO-SMPL 用两个独立的网格表示人体和衣服，但通过偏移量将它们关联起来，以确保身体和衣服之间的物理对齐。然后，我们设计了一个基于 Score Distillation Sampling (SDS) 的蒸馏框架，以从文本提示中生成所提出的 SO-SMPL 表示。我们的方法不仅实现了更高的纹理和几何质量以及与文本提示更好的语义对齐，而且显著提高了角色动画、虚拟试穿和化身编辑的视觉质量。项目页面：https://shanemankiw.github.io/SO-SMPL/。
引用
@article{arxiv.2312.05295,
title = {Disentangled Clothed Avatar Generation from Text Descriptions},
author = {Jionghao Wang and Yuan Liu and Zhiyang Dou and Zhengming Yu and Yongqing Liang and Cheng Lin and Xin Li and Wenping Wang and Rong Xie and Li Song},
journal= {arXiv preprint arXiv:2312.05295},
year = {2024}
}
备注
Project page: https://shanemankiw.github.io/SO-SMPL/