ExactDreamer：通过精确分数匹配实现高保真文本到3D内容创建
计算机视觉与模式识别
2024-05-28 v1
摘要
文本到3D内容创建是一个快速发展的研究领域。鉴于3D数据的稀缺性，当前方法通常将预训练的2D扩散模型适配用于3D合成。在这些方法中，分数蒸馏采样(SDS)已被广泛采用。然而，过平滑问题严重限制了3D模型的高保真生成。为了解决这一挑战，LucidDreamer将SDS中的去噪扩散概率模型(DDPM)替换为去噪扩散隐式模型(DDIM)，以构建区间分数匹配(ISM)。然而，ISM不可避免地继承了DDIM的不一致性，导致DDIM反演过程中的重建误差。这导致3D物体细节生成性能差和内容丢失。为了缓解这些问题，我们提出了一种名为精确分数匹配(ESM)的新方法。具体来说，ESM利用辅助变量在数学上保证DDIM逆过程中的精确恢复。此外，为了有效捕捉原始变量和辅助变量的动态变化，预训练扩散模型的LoRA实现了这些精确路径。大量实验证明了ESM在文本到3D生成中的有效性，特别是在细节生成方面的优越性。
引用
@article{arxiv.2405.15914,
title = {ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching},
author = {Yumin Zhang and Xingyu Miao and Haoran Duan and Bo Wei and Tejal Shah and Yang Long and Rajiv Ranjan},
journal= {arXiv preprint arXiv:2405.15914},
year = {2024}
}