利用主题特定知识先验从单张图像生成高质量3D模型

在本文中，我们针对机器人领域中因多样化3D数据稀缺而导致的关键瓶颈，提出了一种新颖的两阶段方法，用于从单张图像生成高质量3D模型。该方法的动机是高效扩展3D资产创建的需求，特别是对于机器人数据集，其中对象类型的多样性目前相较于通用图像数据集有限。与以往主要依赖通用扩散先验（通常难以与参考图像对齐）的方法不同，我们的方法利用了主题特定的先验知识。通过在几何和纹理中融入主题特定先验，我们确保了生成的3D内容与参考对象之间的精确对齐。具体而言，我们将一种着色模式感知先验引入NeRF优化过程，增强了粗输出中的几何形状并细化了纹理，以实现更高质量。大量实验表明，我们的方法显著优于先前的方法。