中文

AlteredAvatar:基于快速风格适应的动态三维化身风格化

计算机视觉与模式识别 2023-05-31 v1

摘要

本文提出一种能够将动态三维化身快速适配到任意文本描述的新型风格的方法。在现有的化身风格化方法中,直接优化方法能为任意风格生成出色的结果,但速度令人不快地缓慢,且对每个新输入都需要从头重新进行优化过程。使用在大规模风格图像数据集上训练的前馈网络快速近似方法能为新输入快速生成结果,但往往不能很好地泛化到新颖风格且质量不足。因此我们借助元学习框架研究了一种结合上述两种方法的新方法 AlteredAvatar。在内循环中,模型学习优化以很好地匹配单一目标风格;而在外循环中,模型学习跨多种风格高效风格化。训练后,AlteredAvatar 学习到一个初始化,能够在少量更新步内快速适配到新颖风格,该风格可通过文本、参考图像或二者组合给出。我们展示了 AlteredAvatar 能在速度、灵活性与质量之间取得良好平衡,同时在广泛的新颖视角与面部表情下保持一致性。

关键词

引用

@article{arxiv.2305.19245,
  title  = {AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation},
  author = {Thu Nguyen-Phuoc and Gabriel Schwartz and Yuting Ye and Stephen Lombardi and Lei Xiao},
  journal= {arXiv preprint arXiv:2305.19245},
  year   = {2023}
}

备注

10 main pages, 14 figures. Project page: https://alteredavatar.github.io