中文

Make-It-Vivid: 基于文本为可动画化双足卡通角色着装

计算机视觉与模式识别 2024-03-26 v1

摘要

创建三维双足卡通角色并为其制作动画在各类应用中至关重要且极具价值。与几何形状相比,多样化的纹理设计在使三维双足卡通角色生动迷人方面扮演着重要角色。因此,我们专注于基于输入指令的卡通角色自动纹理设计。由于领域特定需求和高品质数据的缺乏,这颇具挑战性。为应对这一挑战,我们提出了 Make-It-Vivid,这是首次尝试在 UV 空间中实现从文本生成高质量纹理。我们利用视觉问答智能体为三维角色准备了详细的文本-纹理配对数据。然后,我们定制了一个预训练的文本到图像模型,以生成具有模板结构的纹理图,同时保留自然的二维图像知识。此外,为增强细粒度细节,我们提出了一种新颖的对抗性学习方案,以缩小原始数据集与真实纹理域之间的领域差距。大量实验表明,我们的方法优于当前的纹理生成方法,实现了高效的角色纹理化以及根据提示词进行忠实生成。此外,我们展示了各种应用,如域外生成和纹理风格化。我们还提供了一个高效的生成系统,用于自动文本引导的纹理角色生成和动画制作。

关键词

引用

@article{arxiv.2403.16897,
  title  = {Make-It-Vivid: Dressing Your Animatable Biped Cartoon Characters from Text},
  author = {Junshu Tang and Yanhong Zeng and Ke Fan and Xuheng Wang and Bo Dai and Kai Chen and Lizhuang Ma},
  journal= {arXiv preprint arXiv:2403.16897},
  year   = {2024}
}

备注

Project page: https://make-it-vivid.github.io/