DistillFSS：将少量样本知识蒸馏到轻量级分割模型中
计算机视觉与模式识别
2025-12-08 v1
摘要
跨域少样本语义分割（CD-FSS）寻求在仅使用少数已标注示例的情况下，对未知类别在不可见域中进行分割。这种设置本身具有挑战性：源域和目标域表现出显著的分布偏移，标签空间相互独立，支持图像稀缺——使标准的episodic 方法不可靠且在测试时计算代价高昂。为解决这些限制，我们提出了 DistillFSS 框架，通过教师-学生蒸馏过程将支持集知识嵌入模型参数中。通过在学生网络中的专用层内部化少样本推理，DistillFSS 消除了在测试时对支持图像的需求，实现快速、轻量级的推理，同时通过教师驱动的快速专业化允许对不可见域中的新类别进行高效扩展。结合微调，该方法能够高效扩展到大型支持集，并显著减少计算开销。为在现实条件下评估该框架，我们引入了一个新的 CD-FSS 基准，涵盖医学成像、工业检查和遥感等领域，具有互不相同的标签空间和可变支持集大小。实验表明，DistillFSS 在多类别和多 shot 场景中匹配或超越了最先进的基线方法，同时提供了显著的效率收益。代码地址为 https://github.com/pasqualedem/DistillFSS。
引用
@article{arxiv.2512.05613,
title = {DistillFSS: Synthesizing Few-Shot Knowledge into a Lightweight Segmentation Model},
author = {Pasquale De Marinis and Pieter M. Blok and Uzay Kaymak and Rogier Brussee and Gennaro Vessio and Giovanna Castellano},
journal= {arXiv preprint arXiv:2512.05613},
year = {2025}
}