基于轨迹锚定的多视角文本引导 3D 高斯溅写作编辑
计算机视觉与模式识别
2024-08-22 v2
摘要
尽管在 3D 场景编辑领域取得了显著进展，但当前方法在多视角编辑过程中面临着显著挑战，尤其是保持 3D 一致性。为此，我们提出一种渐进式 3D 编辑策略，通过基于轨迹锚定方案（TAS）的双分支编辑机制确保多视角一致性。具体而言，TAS 促进了 2D 视图编辑与 3D 更新之间的紧密迭代过程，防止来自文本到图像过程产生的误差累积。此外，我们探讨了基于优化的方法与基于重建的方法之间的关系，提供了一种统一的视角选择优秀设计选择的思路，支持所设计 TAS 的理论依据。我们进一步提出了一种无调参的视角一致注意力控制（VCAC）模块，该模块利用源分支的跨视角语义和几何参考，在目标分支编辑 2D 视图时生成一致的视图。为验证我们方法的有效性，我们分析了 2D 示例，表明 VCAC 模块提高了一致性。进一步的大量定量和定性结果表明，我们的方法在文本引导的 3D 场景编辑中实现了优于现有方法的优越编辑质量。我们将在审稿结束后公开完整的代码库。
引用
@article{arxiv.2407.02034,
title = {TrAME: Trajectory-Anchored Multi-View Editing for Text-Guided 3D Gaussian Splatting Manipulation},
author = {Chaofan Luo and Donglin Di and Xun Yang and Yongjia Ma and Zhou Xue and Chen Wei and Yebin Liu},
journal= {arXiv preprint arXiv:2407.02034},
year = {2024}
}