无需再训练，更多收益：基于扩散模型升级Few-Shot分割背bone以实现像素级和弱监督分割
计算机视觉与模式识别
2025-04-08 v2
摘要
少样本分割（FSS）旨在仅使用少数标注图像对新类别进行分割。尽管在像素级支持标注方面取得了显著进展，当前FSS方法仍面临三个问题：背bone升级需要重新训练的灵活性差、无法统一处理各种类型的标注（例如画图、边界框、掩码和文本），以及难以适应不同的标注数量。为同时解决这些问题，本文提出了DiffUp—a新型框架，将FSS任务概念化为使用扩散过程的条件生成问题。针对第一个问题，我们引入一种不依赖于背bone的特征转换模块，将不同分割线索转换为统一的粗糙先验，从而实现无需重新训练的无缝背bone升级。针对第二个问题，由于来自不同标注类型的转换先验（画图、边界框、掩码和文本）的粒度不同，我们将这些多粒度转换先验类比为扩散模型不同步骤中具有不同噪声的中间结果。通过自条件调制块配合双层质量调制分支实现。针对第三个问题，我们引入不确定性感知的信息融合模块，以调和零样本、一样本和多样本场景中的差异。通过严格的基准测试评估，DiffUp在灵活性和准确性方面显著优于现有的FSS模型。
引用
@article{arxiv.2407.16182,
title = {No Re-Train, More Gain: Upgrading Backbones with Diffusion model for Pixel-Wise and Weakly-Supervised Few-Shot Segmentation},
author = {Shuai Chen and Fanman Meng and Chenhao Wu and Haoran Wei and Runtong Zhang and Qingbo Wu and Linfeng Xu and Hongliang Li},
journal= {arXiv preprint arXiv:2407.16182},
year = {2025}
}
备注
9 figures