以风格解释：训练 GAN 在 StyleSpace 中解释分类器
计算机视觉与模式识别
2021-09-02 v2 机器学习
神经与进化计算
图像与视频处理
机器学习
摘要
图像分类模型可以依赖于图像的多个不同语义属性。对分类器决策的解释需要发现并可视化这些属性。在此我们提出 StylEx，一种通过训练生成模型来专门解释分类器决策底层多个属性的方法。此类属性的自然来源是 StyleGAN 的 StyleSpace，已知其能在图像中生成语义上有意义的维度。然而，由于标准 GAN 训练不依赖于分类器，它可能不表示这些对分类器决策重要的属性，且 StyleSpace 的维度可能表示无关属性。为克服这一点，我们提出一种融入分类器模型的 StyleGAN 训练过程，以学习特定于分类器的 StyleSpace。然后从该空间中选取解释性属性。这些可用于可视化每幅图像更改多个属性的效果，从而提供特定于图像的解释。我们将 StylEx 应用于多个领域，包括动物、叶子、人脸和视网膜图像。对此，我们展示图像可以如何以不同方式修改以改变其分类器输出。我们的结果表明，该方法发现的属性与语义属性良好对齐，生成有意义的特定于图像的解释，并且在用户研究中衡量为可被人理解。
引用
@article{arxiv.2104.13369,
title = {Explaining in Style: Training a GAN to explain a classifier in StyleSpace},
author = {Oran Lang and Yossi Gandelsman and Michal Yarom and Yoav Wald and Gal Elidan and Avinatan Hassidim and William T. Freeman and Phillip Isola and Amir Globerson and Michal Irani and Inbar Mosseri},
journal= {arXiv preprint arXiv:2104.13369},
year = {2021}
}
备注
Accepted to ICCV 2021. Project page: https://explaining-in-style.github.io/, Code: https://github.com/google/explaining-in-style