InstaInpaint：基于掩码大型重建模型的即时 3D 场景修复
计算机视觉与模式识别
2025-06-13 v1
摘要
3D 场景重建的最新进展使得在虚拟现实和增强现实中进行实时观看成为可能。为了支持更好的沉浸感所需的交互操作（如移动或编辑对象），人们提出了 3D 场景修复方法来修复或补全被修改的几何结构。然而，当前的方法依赖耗时且计算密集的优化，使其无法应用于实时或在线场景。我们提出了 InstaInpaint，一个基于参考的前馈框架，能够在 0.4 秒内根据 2D 修复提议生成 3D 场景修复结果。我们开发了一种自监督的掩码微调策略，以使我们定制的大型重建模型（LRM）能够在大规模数据集上进行训练。通过大量实验，我们分析并确定了几项能够提升泛化能力、纹理一致性和几何正确性的关键设计。InstaInpaint 相比先前的方法实现了 1000 倍的加速，同时在两个标准基准上保持了 SOTA 性能。此外，我们表明 InstaInpaint 能够良好地泛化到灵活的下游应用，如对象插入和多区域修复。更多视频结果可在我们的项目页面查看：https://dhmbb2.github.io/InstaInpaint_page/。
引用
@article{arxiv.2506.10980,
title = {InstaInpaint: Instant 3D-Scene Inpainting with Masked Large Reconstruction Model},
author = {Junqi You and Chieh Hubert Lin and Weijie Lyu and Zhengbo Zhang and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2506.10980},
year = {2025}
}