UINO-FSS：基于层次蒸馏与Mamba-超相关性的无监督少样本分割统一框架
计算机视觉与模式识别
2025-11-21 v4
摘要
少样本语义分割因其仅需少量标注样本即可对新目标类别进行泛化，引发了广泛关注。为解决数据稀缺问题，近期方法采用多个基础模型以提升特征可迁移性和分割性能。然而，这类方法常依赖双分支架构，组合多种预训练编码器以利用互补优势，导致灵活性和效率受限。这引出一个根本问题：能否构建统一模型，整合不同基础架构的知识？实现这一目标面临着类别无关分割能力与细粒度判别表示之间错位的挑战。为此，我们提出UINO-FSS框架，基于一个关键观察：早期DINOv2特征在分布上与SAM输出嵌入保持一致性。这种一致性使我们能够通过粗到细的多模态蒸馏，将两者知识整合到单一编码器架构中。具体而言，our segmenter包含三个核心组件：用于嵌入对齐的瓶颈适配器、利用稠密相似性体积和语义嵌入的元视觉提示生成器，以及掩码解码器。通过层次跨模型蒸馏，我们有效地将SAM的知识传递至segmenter，并通过基于Mamba的支持查询对4D相关性挖掘得到进一步增强。在PASCAL-5和COCO-20上的大量实验表明，UINO-FSS在1-shot设置下取得了新的状态最佳结果，mIoU分别达到80.6（提升3.8%）和64.5（提升4.1%），证明了统一方法的有效性。
引用
@article{arxiv.2504.15669,
title = {UINO-FSS: Unifying Representation Learning and Few-shot Segmentation via Hierarchical Distillation and Mamba-HyperCorrelation},
author = {Wei Zhuo and Zhiyue Tang and Wufeng Xue and Hao Ding and Junkai Ji and Linlin Shen},
journal= {arXiv preprint arXiv:2504.15669},
year = {2025}
}