InvNeRF-Seg：针对 3D 物体分割微调预训练的 NeRF
计算机视觉与模式识别
2025-04-09 v1
摘要
神经辐射场（NeRF）已被广泛用于从 2D RGB 图像重建高质量的 3D 点云。然而，对这些重建的 3D 场景进行分割对于物体计数、尺度估计和场景理解等下游任务至关重要。虽然使用深度学习对原始 3D 点云进行分割需要大量繁琐且耗时的手动标注，但直接在二值掩码上训练 NeRF 由于缺乏几何学习所必需的颜色和阴影线索而失败。我们提出不变 NeRF for Segmentation（InvNeRFSeg），这是一种两步、无需修改模型架构或损失函数的零修改微调策略，用于 3D 分割。我们首先在 RGB 图像上训练标准 NeRF，然后使用 2D 分割掩码进行微调。该方法可直接从优化后的辐射场生成更高质量、更干净的分割点云，同时最小化计算开销和复杂度。场密度分析揭示了一致的语义细化：物体区域的密度增加而背景密度被抑制，从而确保干净且可解释的分割。我们在合成水果和真实世界大豆数据集上证明了 InvNeRFSeg 在 SA3D 和 FruitNeRF 上的优越性能。该方法有效地将 2D 分割扩展到高质量的 3D 分割。
关键词
引用
@article{arxiv.2504.05751,
title = {InvNeRF-Seg: Fine-Tuning a Pre-Trained NeRF for 3D Object Segmentation},
author = {Jiangsan Zhao and Jakob Geipel and Krzysztof Kusnierek and Xuean Cui},
journal= {arXiv preprint arXiv:2504.05751},
year = {2025}
}