ShaDDR：基于示例的几何与纹理生成及其三维形状细节化与可微渲染
计算机视觉与模式识别
2023-11-23 v2 图形学
机器学习
摘要
我们提出 ShaDDR，一种基于示例的深度生成神经网络，它通过对输入的粗糙体素形状进行几何细节化与条件纹理生成，产生高分辨率带纹理的三维形状。我们的方法在少量精细且带纹理的示例形状上训练，学习通过多分辨率体素上采样来细节化几何，并通过对来自少数视角的示例纹理图像进行可微渲染，在体素表面生成纹理。生成是交互式的，耗时少于 1 秒即可生成体素分辨率高达 512^3 的三维模型。生成的形状保留了输入粗糙体素模型的整体结构，而所生成几何细节与纹理的风格可通过学习到的潜码进行操控。在实验中，我们展示相比先前工作，我们的方法能生成具有更合理且改进几何细节与干净纹理的更高分辨率形状。此外，我们展示了我们的方法从真实世界照片重建的形状中学习几何细节与纹理的能力。另外，我们开发了一个交互式建模应用，以展示我们的方法对各种用户输入的泛化性及所提供的可控性，允许用户交互式雕刻粗糙体素形状以定义细节化三维形状的整体结构。代码与数据可在 https://github.com/qiminchen/ShaDDR 获取。
引用
@article{arxiv.2306.04889,
title = {ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering},
author = {Qimin Chen and Zhiqin Chen and Hang Zhou and Hao Zhang},
journal= {arXiv preprint arXiv:2306.04889},
year = {2023}
}
备注
Accepted to SIGGRAPH Asia 2023 conference track. Code: https://github.com/qiminchen/ShaDDR