TELA：文本到分层三维穿衣人体生成
计算机视觉与模式识别
2024-04-26 v1
摘要
本文解决了从文本描述生成三维穿衣人体的问题。以往的工作通常将人体和衣服编码为一个整体模型，并在单阶段优化中生成整个模型，这使得它们在服装编辑方面存在困难，同时失去了对整个生成过程的细粒度控制。为了解决这个问题，我们提出了一种分层穿衣人体表示，并结合渐进式优化策略，在为生成过程提供控制能力的同时，生成了服装解耦的三维人体模型。基本思想是渐进式地生成一个穿着最少的人体和分层的衣服。在服装生成过程中，提出了一种新颖的分层组合渲染方法来融合多层人体模型，并利用新的损失函数帮助将服装模型与人体解耦。所提方法实现了高质量的解耦，从而为三维服装生成提供了一种有效途径。大量实验表明，我们的方法实现了 SOTA 的三维穿衣人体生成，同时支持虚拟试穿等服装编辑应用。项目页面：http://jtdong.com/tela_layer/
引用
@article{arxiv.2404.16748,
title = {TELA: Text to Layer-wise 3D Clothed Human Generation},
author = {Junting Dong and Qi Fang and Zehuan Huang and Xudong Xu and Jingbo Wang and Sida Peng and Bo Dai},
journal= {arXiv preprint arXiv:2404.16748},
year = {2024}
}