基于相似性的可解释图像分类：SIC 方法
计算机视觉与模式识别
2025-07-21 v3 机器学习
摘要
深度学习模型在关键领域的部署需要在高准确率与可解释性之间取得平衡。我们提出 SIC（Similarity-Based Interpretable Classification）一种内在可解释神经网络，提供其决策过程的局部和全局解释。基于案例基于推理的概念，SIC 从训练图像中提取类别代表性支持向量，确保捕获相关特征同时抑制无关特征。通过计算和聚合这些支持向量与输入潜在特征向量之间的相似性得分来做出分类决策。我们采用 B-Cos 变换，将模型权重与输入对齐，以生成像素级解释的连贯性，并提供案例基于推理的全局解释。在三个任务上进行评估：Stanford Dogs 和 FunnyBirds 上的细粒度分类、Pascal VOC 上的多标签分类以及 RSNA 数据集上的病理检测。结果表明，SIC 不仅在准确率上与最先进的黑箱模型和内在可解释模型保持竞争力，还通过在 FunnyBirds 框架上的实用评估验证了其解释具有洞察力。我们的理论分析证明，这些解释满足已建立的解释公理。我们的发现凸显了 SIC 在模型决策本身同样关键于决策的应用中的潜力。
引用
@article{arxiv.2501.17328,
title = {SIC: Similarity-Based Interpretable Image Classification with Neural Networks},
author = {Tom Nuno Wolf and Emre Kavak and Fabian Bongratz and Christian Wachinger},
journal= {arXiv preprint arXiv:2501.17328},
year = {2025}
}
备注
Accepted at ICCV 2025