风格链接：理解深度学习模型中的学习特征
计算机视觉与模式识别
2024-09-26 v1
摘要
卷积神经网络（CNN）学习抽象特征以执行目标分类，但由于结果难以解释或计算成本高昂，理解这些特征仍然具有挑战性。我们提出了一种自动方法来可视化和系统分析 CNN 中的学习特征。具体而言，我们引入了一个链接网络，将预训练分类器的倒数第二层映射到生成模型（StyleGAN-XL）的潜在空间，从而实现分类器表示的可解释、人类友好的可视化。我们的发现表明，两个空间中存在一致的语义顺序，使得它们之间能够进行直接的线性映射。训练链接网络的计算成本很低，并且与 GAN 和分类器的训练相解耦。我们引入了一个自动流程，利用这种基于 GAN 的可视化，通过分析图像域中分类器的激活变化来量化学习到的表示。这种量化使我们能够同时系统研究数千个单元中的学习表示，并提取和可视化对特定语义概念具有选择性的单元。此外，我们说明了如何使用反事实示例来量化和解释分类器的决策边界。总体而言，我们的方法为 CNN 中学习到的抽象表示提供了系统和客观的视角。https://github.com/kaschube-lab/LinkingInStyle.git
引用
@article{arxiv.2409.16865,
title = {Linking in Style: Understanding learned features in deep learning models},
author = {Maren H. Wehrheim and Pamela Osuna-Vargas and Matthias Kaschube},
journal= {arXiv preprint arXiv:2409.16865},
year = {2024}
}