Laser：神经辐射场中高效的语言引导分割
计算机视觉与模式识别
2025-02-03 v1
摘要
本文提出一种利用 CLIP 特征蒸馏的方法，通过语言引导实现高效的 3D 分割。不同于以往依赖多尺度 CLIP 特征并受限于处理速度与存储开销的方法，我们的方法旨在通过直接且高效地蒸馏稠密 CLIP 特征来简化流程，从而利用文本实现对 3D 场景的精确分割。为实现这一目标，我们引入了一个适配器模块，并通过自交叉训练策略缓解稠密 CLIP 特征蒸馏过程中的噪声问题。此外，为提升分割边缘的精度，本文提出了一种低秩瞬态查询注意力机制。为保证相似颜色在不同视角下分割的一致性，我们通过标签体将分割任务转化为分类任务，显著改善了颜色相近区域的分割一致性。我们还提出了一种简化的文本增强策略，以缓解 CLIP 特征与文本对应关系中的歧义问题。大量实验结果表明，所提方法在训练速度与性能上均超越了当前的最先进技术。代码地址：https://github.com/xingy038/Laser.git。
引用
@article{arxiv.2501.19084,
title = {Laser: Efficient Language-Guided Segmentation in Neural Radiance Fields},
author = {Xingyu Miao and Haoran Duan and Yang Bai and Tejal Shah and Jun Song and Yang Long and Rajiv Ranjan and Ling Shao},
journal= {arXiv preprint arXiv:2501.19084},
year = {2025}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence