具有特征模仿的交互式分割一切NeRF
计算机视觉与模式识别
2023-05-26 v1
摘要
本文研究了用语义增强神经辐射场（NeRF）以扩展其应用的潜力。尽管NeRF已被证明在VR和数字创作等现实世界应用中有用，但缺乏语义阻碍了与复杂场景中对象的交互。我们提出模仿现成感知模型的骨干特征，以通过NeRF实现零样本语义分割。我们的框架通过直接渲染语义特征并仅应用感知模型的解码器来重新表述分割过程。这消除了对昂贵骨干网络的需求并有利于3D一致性。此外，我们可以将学习到的语义投影到提取的网格表面以实现实时交互。借助最先进的Segment Anything Model（SAM），我们的框架以可比的掩码质量将分割加速了16倍。实验结果证明了我们方法的有效性和计算优势。项目页面：\url{https://me.kiui.moe/san/}。
引用
@article{arxiv.2305.16233,
title = {Interactive Segment Anything NeRF with Feature Imitation},
author = {Xiaokang Chen and Jiaxiang Tang and Diwen Wan and Jingbo Wang and Gang Zeng},
journal= {arXiv preprint arXiv:2305.16233},
year = {2023}
}
备注
Technical Report