梦幻 XL：通过轨迹得分匹配实现高分辨率文本到 3D 生成
计算机视觉与模式识别
2024-05-21 v1
摘要
本 work 提出了一种 novel 的轨迹得分匹配 (TSM) 方法，旨在解决由于在使用去噪扩散隐式模型 (DDIM) 反向过程时在区间得分匹配 (ISM) 中积累误差导致的伪 ground truth 不一致问题。与 ISM 采用单一路径的 DDIM 反向过程计算不同，我们的 TSM 方法利用 DDIM 反向过程生成两个来自相同起点的路径进行计算。由于两个路径都来自相同的起点，TSM 能够比 ISM 减少积累误差，从而缓解伪 ground truth 不一致的问题。TSM 增强了模型在蒸馏过程中生成路径的稳定性和一致性。我们在实验中证明了这一点，并进一步表明 ISM 是 TSM 的一种特例。此外，为了优化当前从高分辨率文本到 3D 生成的多阶段优化过程，我们采用 Stable Diffusion XL 进行指导。针对在使用 Stable Diffusion XL 时由于不稳定梯度导致的 3D 高斯烧录过程中的异常复制和分割问题，我们提出了一种基于像素的梯度裁剪方法。广泛的实验表明，我们的模型在视觉质量和性能方面显著优于当前最先进的模型。代码: \url{https://github.com/xingy038/Dreamer-XL}。
引用
@article{arxiv.2405.11252,
title = {Dreamer XL: Towards High-Resolution Text-to-3D Generation via Trajectory Score Matching},
author = {Xingyu Miao and Haoran Duan and Varun Ojha and Jun Song and Tejal Shah and Yang Long and Rajiv Ranjan},
journal= {arXiv preprint arXiv:2405.11252},
year = {2024}
}