3DStyleNet：生成具有几何与纹理风格变化的3D形状
计算机视觉与模式识别
2021-08-31 v1 人工智能
图形学
摘要
我们提出一种方法，用于创建3D对象的合理几何与纹理风格变体，以推动3D内容创建的普及化。给定一对带纹理的源对象与目标对象，我们的方法预测一个部件感知的仿射变换场，其自然地将源形状扭曲以模仿目标的整体几何风格。此外，借助多视角可微渲染器，将目标的纹理风格迁移至扭曲后的源对象。我们的模型3DStyleNet由在两阶段中训练的两个子网络组成。首先，几何风格网络在大规模无纹理3D形状上训练。其次，我们用定义在几何与结果渲染上的损失联合优化我们的几何风格网络与一个预训练的图像风格迁移网络。给定一小批高质量带纹理对象，我们的方法可创建许多新颖的风格化形状，实现轻松的3D内容创建与风格化数据增强。我们从定性上展示了我们的方法在3D内容风格化上的效果，并提供用户研究以验证结果质量。此外，我们的方法可作为为计算机视觉任务创建3D数据增强的宝贵工具。广泛的定量分析表明，对于单图像3D重建这一下游任务，3DStyleNet优于其他数据增强技术。
引用
@article{arxiv.2108.12958,
title = {3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations},
author = {Kangxue Yin and Jun Gao and Maria Shugrina and Sameh Khamis and Sanja Fidler},
journal= {arXiv preprint arXiv:2108.12958},
year = {2021}
}
备注
Accepted to ICCV 2021. Supplementary material can be found on the project page: https://nv-tlabs.github.io/3DStyleNet/