ConsistentDreamer：通过平衡多视图高斯优化实现视图一致的网格
计算机视觉与模式识别
2025-02-26 v3
摘要
扩散模型的最新进展显著改善了 3D 生成，使得从图像生成的资产可用于具身 AI 模拟。然而，图像到 3D 问题的一对多性质限制了其使用，因为不同视图之间存在内容和不一致性。此前模型通过从视图条件扩散先验中采样视图来优化 3D 模型，但扩散模型无法保证视图一致性。相反，我们提出了 ConsistentDreamer：首先生成一组固定的多视图先验图像，然后通过另一个扩散模型在这些图像之间采样随机视图，并利用得分蒸馏采样（score distillation sampling, SDS）损失。因此，我们限制了由 SDS 损失引导的视图之间的差异，并确保了粗略形状的一致性。在每次迭代中，我们还使用生成的多视图先验图像进行细节重建。为了在粗略形状和细节优化之间取得平衡，我们引入了基于同方差不确定性的动态任务相关权重，并在每次迭代中自动更新。此外，我们采用不透明度、深度失真和法线对齐损失来细化表面以提取网格。与最先进方法相比，我们的方法确保了更好的视图一致性和视觉质量。
引用
@article{arxiv.2502.09278,
title = {ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization},
author = {Onat Şahin and Mohammad Altillawi and George Eskandar and Carlos Carbone and Ziyuan Liu},
journal= {arXiv preprint arXiv:2502.09278},
year = {2025}
}
备注
Manuscript accepted by Pattern Recognition Letters. Project Page: https://onatsahin.github.io/ConsistentDreamer/