模型解释指导将图像分类器转化为分割模型
计算机视觉与模式识别
2024-07-04 v1
摘要
通过诸如Grad-CAM和LRP等可解释AI方法在图像分类网络输入上生成的热图，已被观察到在许多情况下类似于输入图像的分割。因此，热图也被用于实现基于图像级别监督的弱监督分割。另一方面，可对可微热图施加损失，这已被证明可用于（1）提高热图更符合人类可解释性，（2）网络正则化以获得更好的泛化，（3）训练多样化的网络集团，以及（4）显式忽略混合输入特征。鉴于后者用例，施加热图损失的范式常被称为“正确原因”。我们统一了这两个研究线索，通过探讨将半监督分割作为“正确原因”范式的新用例来实现这一目标。首先，我们展示了可微热图架构与标准编码器-解码器架构在图像分割中的形式平行性。其次，我们展示了这些可微热图架构在使用标准分割损失训练时可获得竞争性结果。最后，我们展示了这些架构允许使用以图像级别标签和少量像素级别标签形式的弱监督进行训练，优于相当于的编码器-解码器模型。代码可在\url{https://github.com/Kainmueller-Lab/TW-autoencoder}获取。
引用
@article{arxiv.2407.03009,
title = {Model Guidance via Explanations Turns Image Classifiers into Segmentation Models},
author = {Xiaoyan Yu and Jannik Franzen and Wojciech Samek and Marina M. -C. Höhne and Dagmar Kainmueller},
journal= {arXiv preprint arXiv:2407.03009},
year = {2024}
}