重新思考多模态few-shot 3D点云分割：从融合细化到解耦仲裁

本文重访多模态few-shot 3D点云语义分割(FS-PCS)，识别出'融合-细化'范式中的'塑性-稳定性困境'。此外，CLIP的跨类混淆会导致语义致盲。为此，我们提出解耦专家仲裁few-shot SegNet(DA-FSS)，通过有效区分语义路径与几何路径并相互正则化其梯度以实现更好的泛化。DA-FSS采用与MM-FSS相同的骨干网络和预训练文本编码器生成文本嵌入，提高自由模态的利用率，更好地发挥各模态信息空间的优势。为此，我们提出平行专家细化模块以生成每个模态相关性。我们还提出堆叠仲裁模块(SAM)进行卷积融合并仲裁各模态路径的相关性。平行专家解耦两个路径：几何专家保持塑性，语义专家确保稳定性。它们通过解耦对齐模块(DAM)进行协调，在不传播混淆的前提下传递知识。在S3DIS、ScanNet等流行数据集上的实验表明，DA-FSS优于MM-FSS。同时，几何边界、完整性和纹理区分度均优于基线。代码已发布于：https://github.com/MoWenQAQ/DA-FSS。