基于保型概念引导的LoRA专家混合模型的可解释性少样本图像分类
计算机视觉与模式识别
2025-06-06 v1
摘要
自解释模型（SEMs）依赖保型概念学习（PCL）来使其视觉识别过程更具可解释性，但在数据稀缺的setting中往往难以获得佳绩。为此，我们提出一种少样本保型概念分类（FSPCC）框架，系统性地缓解低数据 regime 中的两个关键挑战：参数不平衡和表征错位。具体而言，我们的方法利用LoRA专家混合模型（MoLE）进行参数高效适应，确保背板与PCL模块之间可训练参数的平衡。同时，跨模块概念引导强制背板的特征表征与保型概念激活模式之间保持紧密对齐。此外，我们引入多层次特征保留策略，通过融合不同层次的空间和语义线索，丰富所学表征，缓解数据稀缺带来的挑战。最后，为增强可解释性并最小化概念重叠，我们引入几何感知的概念判别损失，以强制概念之间正交化，鼓励更加解耦且透明的决策边界。在六个流行基准数据集（CUB-200-2011、mini-ImageNet、CIFAR-FS、Stanford Cars、FGVC-Aircraft 和 DTD）上的实验结果表明，我们的方法在5-way 5-shot 分类中 consistently 超过现有SEMs，提升幅度达4.2%~8.7%。这些发现凸显了将概念学习与少样本适应相结合的有效性，以实现更高的准确率和更清晰的模型可解释性，为构建更透明的视觉识别系统指明了方向。
引用
@article{arxiv.2506.04673,
title = {Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts},
author = {Zhong Ji and Rongshuai Wei and Jingren Liu and Yanwei Pang and Jungong Han},
journal= {arXiv preprint arXiv:2506.04673},
year = {2025}
}
备注
13 pages,5 figures