隐形针脚：基于深度填充生成平滑3D场景
计算机视觉与模式识别
2024-05-01 v1
摘要
3D场景生成正快速成为具有挑战性的新研究方向，推动力量来自2D生成扩散模型的持续改进。大多数先前工作通过迭代拼接新生成的帧与现有几何来生成场景。这些方法常常依赖于预训练的单目深度估计器将生成图像提升到3D，融合现有的场景表示。这些方法通常通过文本度量进行评估，即衡量生成图像与给定文本提示之间的相似性。本文在3D场景生成领域提出了两个根本性贡献。首先，我们指出使用单目深度估计模型将图像提升到3D是次优的，因为它忽略了现有场景的几何。因此，我们引入一种新型深度完成模型，通过教师蒸馏和自训练学习3D融合过程，实现了更佳的几何一致性。其次，我们引入一种新的基准方案用于场景生成方法，基于真实几何测量场景结构的质量。
引用
@article{arxiv.2404.19758,
title = {Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting},
author = {Paul Engstler and Andrea Vedaldi and Iro Laina and Christian Rupprecht},
journal= {arXiv preprint arXiv:2404.19758},
year = {2024}
}
备注
Project page: https://research.paulengstler.com/invisible-stitch/