DreamPolisher：通过几何扩散实现高质量文本到3D生成
计算机视觉与模式识别
2024-03-27 v1 人工智能
图形学
摘要
我们提出DreamPolisher，一种基于高斯泼溅（Gaussian Splatting）并具有几何引导的新颖方法，旨在从文本描述中学习跨视图一致性和精细细节。尽管近期文本到3D生成方法取得了令人鼓舞的进展，但主流方法往往无法保证视图一致性和纹理丰富度。对于仅依赖文本输入的方法而言，这一问题尤为突出。为解决此问题，我们提出一种基于两阶段高斯泼溅的方法，强制实现视图间的几何一致性。首先，对粗略的3D生成结果通过几何优化进行细化。随后，我们使用由ControlNet驱动的细化器，并结合几何一致性项，以提升生成3D资产的纹理保真度和整体一致性。跨多种物体类别的多样化文本提示的实证评估表明，DreamPolisher能够有效生成一致且逼真的3D对象，并与文本指令的语义紧密对齐。
引用
@article{arxiv.2403.17237,
title = {DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion},
author = {Yuanze Lin and Ronald Clark and Philip Torr},
journal= {arXiv preprint arXiv:2403.17237},
year = {2024}
}
备注
Project webpage: https://yuanze-lin.me/DreamPolisher_page/