深度几何时刻促进文本到三维生成中的形状一致性
计算机视觉与模式识别
2025-01-23 v2
摘要
为解决 3D 资产数据稀缺的问题，2D 抬升技术如得分蒸馏采样（SDS）已成为文本到 3D 生成管道中广泛采用的方法。然而，这些技术中使用的扩散模型容易受视角偏见影响，从而导致几何不一致问题，如 Janus 问题。为此，我们提出了 MT3D，一种文本到 3D 生成模型，通过利用高保真 3D 对象来克服视角偏见，并显式地将几何理解注入生成管道。首先，我们采用源自高质量 3D 模型的深度图作为控制信号，以确保生成的 2D 图像保留基本的形状和结构，从而减少固有的视角偏见。接着，我们利用深度几何时刻来显式确保 3D 表示的几何一致性。通过融合来自 3D 资产的几何细节，MT3D 能够创建具有多样性且几何一致的对象，从而提高 3D 表示的质量和可用性。项目页面和代码：https://moment-3d.github.io/
引用
@article{arxiv.2408.05938,
title = {Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation},
author = {Utkarsh Nath and Rajeev Goel and Eun Som Jeon and Changhoon Kim and Kyle Min and Yezhou Yang and Yingzhen Yang and Pavan Turaga},
journal= {arXiv preprint arXiv:2408.05938},
year = {2025}
}
备注
This paper has been accepted to WACV 2025