ThemeStation：从少量范例生成主题感知的3D资产
计算机视觉与模式识别
2024-05-16 v2
摘要
现实世界的应用通常需要大量共享一致主题的3D资产库。尽管从文本或图像进行通用3D内容创建已取得显著进展，但合成遵循输入3D范例共享主题的定制化3D资产仍然是一个开放且具有挑战性的问题。在这项工作中，我们提出 ThemeStation，一种用于主题感知的3D到3D生成的新方法。ThemeStation 基于给定的少量范例合成定制化3D资产，具有两个目标：1）统一性，生成与给定范例主题一致的3D资产；2）多样性，生成具有高度变化的3D资产。为此，我们设计了一个两阶段框架，首先绘制概念图像，随后进行参考信息引导的3D建模阶段。我们提出了一种新颖的双重得分蒸馏（DSD）损失，以联合利用来自输入范例和合成概念图像的先验。大量实验和用户研究证实，ThemeStation 在生成多样化、主题感知且质量出色的3D模型方面超越了先前的工作。ThemeStation 还支持各种应用，例如可控的3D到3D生成。
引用
@article{arxiv.2403.15383,
title = {ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars},
author = {Zhenwei Wang and Tengfei Wang and Gerhard Hancke and Ziwei Liu and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2403.15383},
year = {2024}
}
备注
Accepted to SIGGRAPH 2024. Project page: https://3dthemestation.github.io/