中文

DressCode:基于文本引导的自回归式服装缝制与生成

计算机视觉与模式识别 2024-06-18 v4 图形学

摘要

服装在人类外观中扮演着重要角色,这凸显了服装数字化对于数字人创建的重要性。近期3D内容创建的进展对数字人创建至关重要。尽管如此,基于文本引导的服装生成仍处于起步阶段。我们介绍了一个文本驱动的3D服装生成框架DressCode,旨在使设计大众化,为新手提供便利,并在时尚设计、虚拟试穿和数字人创建方面提供巨大潜力。我们首先引入了SewingGPT,这是一种基于GPT的架构,集成了交叉注意力与文本条件嵌入,以根据文本引导生成缝纫图案。然后,我们定制了一个预训练的Stable Diffusion模型,为服装生成基于图块的基于物理的渲染(Physically-based Rendering, PBR)纹理。通过利用大型语言模型,我们的框架通过自然语言交互生成CG友好的服装。它还支持图案补全和纹理编辑,通过用户友好的交互简化设计流程。该框架通过允许创作者自由尝试设计并将独特元素融入其作品来促进创新。通过全面的评估以及与其他最先进方法的比较,我们的方法展示了卓越的质量和与输入提示的一致性。用户研究进一步验证了我们高质量的渲染结果,突显了其在实际应用和生产环境中的实用性和潜力。我们的项目页面是https://IHe-KaiI.github.io/DressCode/。

关键词

引用

@article{arxiv.2401.16465,
  title  = {DressCode: Autoregressively Sewing and Generating Garments from Text Guidance},
  author = {Kai He and Kaixin Yao and Qixuan Zhang and Jingyi Yu and Lingjie Liu and Lan Xu},
  journal= {arXiv preprint arXiv:2401.16465},
  year   = {2024}
}

备注

Project page: https://IHe-KaiI.github.io/DressCode/