ICE-G：3D高斯泼溅的图像条件编辑

Vishnu Jaganathan; Hannah Hanyun Huang; Muhammad Zubair Irshad; Varun Jampani; Amit Raj; Zsolt Kira

ICE-G：3D高斯泼溅的图像条件编辑

计算机视觉与模式识别 2024-06-13 v1 人工智能机器学习

作者: Vishnu Jaganathan , Hannah Hanyun Huang , Muhammad Zubair Irshad , Varun Jampani , Amit Raj , Zsolt Kira

摘要

最近出现了许多创建高质量3D资产和场景的技术。然而，在编辑这些对象时，现有方法要么速度慢，要么在质量上妥协，要么无法提供足够的定制化。我们引入了一种新颖的方法，可以从单个参考视图快速编辑3D模型。我们的技术首先分割编辑图像，然后使用DINO特征在选定的分割数据集视图之间匹配语义上对应的区域。然后，来自编辑图像特定区域的颜色或纹理变化可以以语义合理的方式自动应用于其他视图。这些编辑后的视图作为更新的数据集，用于进一步训练和重新风格化3D场景。因此，最终结果是一个编辑后的3D模型。我们的框架支持多种编辑任务，例如手动局部编辑、基于对应关系的从任意示例图像进行的风格迁移，以及来自多个示例图像的不同风格的组合。我们使用高斯泼溅作为主要的3D表示，因为其速度快且易于局部编辑，但我们的技术也适用于其他方法，如NeRF。我们通过多个示例表明，我们的方法在提供精细编辑控制的同时，产生了更高质量的结果。项目页面：ice-gaussian.github.io

关键词

3D编辑高斯泼溅图像条件语义对应风格迁移 DINO特征 NeRF

引用

@article{arxiv.2406.08488,
  title  = {ICE-G: Image Conditional Editing of 3D Gaussian Splats},
  author = {Vishnu Jaganathan and Hannah Hanyun Huang and Muhammad Zubair Irshad and Varun Jampani and Amit Raj and Zsolt Kira},
  journal= {arXiv preprint arXiv:2406.08488},
  year   = {2024}
}

备注

Accepted to CVPR AI4CC Workshop 2024. Project page: https://ice-gaussian.github.io

ICE-G：3D高斯泼溅的图像条件编辑

摘要

关键词

引用

备注

相关论文