TextMesh：从文本提示生成逼真三维网格
计算机视觉与模式识别
2023-04-26 v1
摘要
得益于图像扩散模型的出现，仅从文本提示生成高度逼真的二维图像近来在速度与质量上取得了巨大进展。自然地，一个问题随之产生：能否在从此类文本提示生成三维内容上也实现这一点。为此，近期出现了一类新方法，试图利用在二维图像上训练的扩散模型，通过视角相关提示来监督三维模型生成。尽管取得了令人印象深刻的成果，这些方法却有两个主要缺陷。首先，它们生成的是神经辐射场（NeRFs）而非常用的三维网格，使其在大多数实际应用中不切实际。其次，这些方法往往产生过饱和的模型，使输出呈现卡通化效果。因此，在本工作中我们提出一种生成高度逼真三维网格的新方法。为此，我们扩展 NeRF 以采用 SDF 主干，从而改进三维网格提取。此外，我们提出一种微调网格纹理的新方式，消除高饱和度影响并改善输出三维网格的细节。
引用
@article{arxiv.2304.12439,
title = {TextMesh: Generation of Realistic 3D Meshes From Text Prompts},
author = {Christina Tsalicoglou and Fabian Manhardt and Alessio Tonioni and Michael Niemeyer and Federico Tombari},
journal= {arXiv preprint arXiv:2304.12439},
year = {2023}
}
备注
Project Website: https://fabi92.github.io/textmesh/