基于图像间与图像内细化的少样本分割
计算机视觉与模式识别
2025-12-17 v2
摘要
语义分割的深度神经网络依赖大规模标注数据集，导致标注瓶颈，从而激发了少样本语义分割（Few Shot Segmentation, FSS），其旨在以最小的标记样本泛化到新类别。目前大多数FSS方法采用原型基方法，通过从支撑图像中提取掩码区域特征生成查询先验图，再由此引导预测。然而，这些方法受制于图像间和图像内差异导致的两个关键局限性：1）由于单原型表示，支撑图像与查询图像之间的类内差距导致先验图稀疏且噪声较大；2）来自视觉相似但语义不同的区域的类间干扰，导致支撑查询特征匹配不一致并产生错误预测。为解决这些问题，我们提出了图像间与图像内细化（Inter- and Intra-image Refinement, IIR）模型。该模型包含基于类激活映射的两种原型生成方法，用于类一致区域匹配，包括核心判别特征和局部特定特征，从而生成准确且稳健的先验图。对于图像内细化，引入方向性 dropout 机制，以掩码不一致的支撑查询特征对（在跨注意力中），从而提升解码器性能。大量实验表明，IIR 在覆盖标准FSS、部件FSS和跨域FSS的9个基准测试上实现了最先进的性能。我们的源代码可在 \href{https://github.com/forypipi/IIR}{https://github.com/forypipi/IIR} 获取。
引用
@article{arxiv.2507.05838,
title = {Inter- and Intra-image Refinement for Few Shot Segmentation},
author = {Ourui Fu and Hangzhou He and Kaiwen Li and Xinliang Zhang and Lei Zhu and Shuang Zeng and Zhaoheng Xie and Yanye Lu},
journal= {arXiv preprint arXiv:2507.05838},
year = {2025}
}