具上下文感知的局部高斯溅写编辑

最近的基于文本引导的单个3D物体生成取得了很大成功，但这些方法不适用于物体插入和替换任务，因为它们不考虑背景，导致环境内光照不匹配。为弥合这一差距，我们引入了一个针对3D高斯溅(3DGS)表示的光照感知3D场景编辑管道。我们的关键观察是，基于条件2D扩散模型的填充在光照上与背景一致。为利用来自经过训练的扩散模型的先验知识进行3D物体生成，我们的方法采用粗到细的对象优化管道，包括填充视图。在第一步粗略步骤中，我们实现了给定理想填充视图的图像到3D提升。该过程采用基于视图的条件扩散模型的3D感知扩散先验，保留条件图像中存在的光照。在获取理想填充图像方面，我们引入了锚点视图提议(AVP)算法，以找到目标区域中最能代表场景光照的单一视图。在第二步纹理增强步骤中，我们引入一种基于深度的填充得分引导扩散采样(DI-SDS)，该方法在填充扩散先验的范围之外，增强几何和纹理细节。DI-SDS不仅提供精细的纹理增强，还可促进优化尊重场景光照。我们的方法在不显式建模光传输的前提下，有效实现了具有全局光照一致性的局部编辑。我们通过评估包含明显高光和阴影的真实场景中的编辑鲁棒性，并与最新的基于文本到3D编辑方法进行比较。