SANeRF-HQ：面向高质量 NeRF 的 Segment Anything

最近，Segment Anything Model (SAM) 展示了卓越的零样本分割能力，而 NeRF（Neural Radiance Fields）作为解决新视角合成之外各种 3D 问题的方法获得了广泛关注。尽管已有初步尝试将这两种方法结合用于 3D 分割，但它们在复杂场景中准确且一致地分割物体仍面临挑战。在本文中，我们引入了 Segment Anything for NeRF in High Quality (SANeRF-HQ)，以在给定场景中实现对任意目标物体的高质量 3D 分割。SANeRF-HQ 利用 SAM 在用户提供的提示引导下进行开放世界物体分割，同时利用 NeRF 聚合来自不同视角的信息。为了克服上述挑战，我们采用密度场和 RGB 相似度来增强聚合过程中分割边界的准确性。鉴于对分割准确性的重视，我们在多个具有高质量真值或手动标注的 NeRF 数据集上评估了我们的方法。SANeRF-HQ 在 NeRF 物体分割中显示出相对于 SOTA 方法的显著质量提升，为物体定位提供了更高的灵活性，并实现了跨多视角更一致的物体分割。结果和代码可在项目网站获取：https://lyclyc52.github.io/SANeRF-HQ/。