Creative Birds：自监督单视图三维风格迁移
计算机视觉与模式识别
2023-07-28 v2
摘要
在本文中，我们提出一种用于单视图三维风格迁移的新方法，生成兼具形状与纹理迁移的独特三维物体。我们的焦点主要在于鸟类，这是三维重建中的热门对象，目前尚无已有的单视图三维迁移方法被开发。我们提出的方法旨在从两张单视图图像生成鸟类的三维网格形状与纹理。为此，我们引入一种新颖的形状迁移生成器，其包含双残差门控网络（DRGNet）和多层感知机（MLP）。DRGNet 使用共享坐标门单元提取源图像与目标图像的特征，而 MLP 生成用于构建三维网格的空间坐标。我们还引入一种语义 UV 纹理迁移模块，利用语义 UV 分割实现纹理风格迁移，确保迁移区域的语义一致性。该模块可广泛适配于许多现有方法。最后，我们的方法使用可微分渲染器构建新颖的三维鸟。在 CUB 数据集上的实验结果验证了我们的方法在单视图三维风格迁移任务上达到了最先进的性能。代码见 https://github.com/wrk226/creative_birds。
引用
@article{arxiv.2307.14127,
title = {Creative Birds: Self-Supervised Single-View 3D Style Transfer},
author = {Renke Wang and Guimin Que and Shuo Chen and Xiang Li and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2307.14127},
year = {2023}
}
备注
Accepted at ICCV 2023