Img2Tab：从 StyleGAN 特征中自动发现类相关概念用于可解释图像分类
计算机视觉与模式识别
2023-04-19 v2
摘要
传统的表格分类器通过可解释的特征（概念）提供可解释的决策。然而，由于图像的像素表示，其在视觉任务中的可解释性应用一直受限。本文设计 Img2Tabs，通过概念对图像进行分类，以利用表格分类器的可解释性。Img2Tabs 通过 StyleGAN 反演将图像像素编码为表格特征。由于生成性质，所得特征并非全部类相关或可解释，我们期望 Img2Tab 分类器能从 StyleGAN 特征中自动发现类相关概念。为此，我们提出一种使用 Wasserstein-1 度量同时量化类相关性和可解释性的新方法。利用该方法，我们考察表格分类器提取的重要特征是否为类相关概念。从而，我们确定了在从 StyleGAN 特征中自动发现类相关概念方面最有效的 Img2Tab 分类器。在评估中，我们通过重要性和可视化展示基于概念的解释。Img2Tab 取得的 top-1 准确率与 CNN 分类器和深度特征学习基线相当。此外，我们表明用户可在概念层面轻松调试 Img2Tab 分类器，以确保无偏且公平的决策而不牺牲准确率。
引用
@article{arxiv.2301.06324,
title = {Img2Tab: Automatic Class Relevant Concept Discovery from StyleGAN Features for Explainable Image Classification},
author = {Youngjae Song and Sung Kuk Shyn and Kwang-su Kim},
journal= {arXiv preprint arXiv:2301.06324},
year = {2023}
}