DI-PCG：基于扩散的高质量 3D 资产创建的高效逆向程序内容生成
计算机视觉与模式识别
2024-12-20 v1 人工智能
图形学
摘要
程序内容生成（PCG）在创建高质量 3D 内容方面强大，但控制其以产生所需形状困难，往往需要 extensive 参数调优。逆向程序内容生成旨在自动找到输入条件下的最佳参数。然而，现有的基于抽样和基于神经网络的方法仍受限于大量采样迭代或可控性有限。在本工作中，我们提出 DI-PCG，这是一种从 general 图像条件下进行逆向 PCG 的新颖且高效的方法。其核心是轻量级扩散变换模型，其中将 PCG 参数直接视为去噪目标，将观察到的图像作为条件以控制参数生成。DI-PCG 高效且有效。仅需 760 万网络参数和 30 小时 GPU 训练，即可在准确恢复参数方面显示优异性能，并在野外图像上表现出良好的泛化。定量和定性实验结果验证了 DI-PCG 在逆向 PCG 和图像到 3D 生成任务中的有效性。DI-PCG 为高效逆向 PCG 提供了可行路径，并代表了一种宝贵的探索，旨在构建一种 3D 资产的生成路径，该路径模型如何使用参数模型构建 3D 资产。
引用
@article{arxiv.2412.15200,
title = {DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation},
author = {Wang Zhao and Yan-Pei Cao and Jiale Xu and Yuejiang Dong and Ying Shan},
journal= {arXiv preprint arXiv:2412.15200},
year = {2024}
}
备注
Project page: https://thuzhaowang.github.io/projects/DI-PCG/