EditSplat：基于多视图融合与注意力引导优化的3D高斯泼溅视图一致3D场景编辑
计算机视觉与模式识别
2025-04-21 v2 人工智能
摘要
近期3D编辑的进展突显了文本驱动方法在实时、用户友好的AR/VR应用中的潜力。然而，当前方法依赖2D扩散模型而未充分考虑多视图信息，导致多视图不一致。尽管3D高斯泼溅（3DGS）显著提升了渲染质量和速度，但其3D编辑过程因优化效率低下而遇到困难，因为预训练的高斯体保留了过多的源信息，阻碍了优化。为解决这些局限，我们提出EditSplat，一种新颖的文本驱动3D场景编辑框架，集成了多视图融合引导（MFG）和注意力引导修剪（AGT）。我们的MFG通过将必要的多视图信息融入扩散过程，利用文本到图像扩散模型的无分类器引导和3DGS固有的几何结构，确保了多视图一致性。此外，我们的AGT利用3DGS的显式表示，选择性地修剪和优化3D高斯体，提高了优化效率，并实现了精确、语义丰富的局部编辑。通过广泛的定性和定量评估，EditSplat达到了最先进的性能，为文本驱动3D场景编辑建立了新的基准。
引用
@article{arxiv.2412.11520,
title = {EditSplat: Multi-View Fusion and Attention-Guided Optimization for View-Consistent 3D Scene Editing with 3D Gaussian Splatting},
author = {Dong In Lee and Hyeongcheol Park and Jiyoung Seo and Eunbyung Park and Hyunje Park and Ha Dam Baek and Sangheon Shin and Sangmin Kim and Sangpil Kim},
journal= {arXiv preprint arXiv:2412.11520},
year = {2025}
}