正向和反向传递不同的 Leaky ReLU 有助于深层神经网络中的激活最大化
计算机视觉与模式识别
2024-10-23 v1
摘要
激活最大化 (Activation Maximization, AM) 旨在生成最优输入刺激物，以揭示触发训练深度神经网络中高响应特征的特征。AM 是可解释人工智能的重要方法之一。我们展示，AM 在包含 ReLU 或 Leaky ReLU 的简单函数中无法产生最优输入刺激物，这对 AM 的实际有用性以及生成图像的视觉解释提出了质疑。本文提出了解决方案，方法是在反向传递中使用具有较高负斜率的 Leaky ReLU，而在正向传递中保持原始的（通常为零的）斜率。该方法显著增加了 AM 找到的最大值。 resulting ProxyGrad 算法实现了一种用于神经网络的新型优化技术，采用次网络作为梯度计算的代理。该代理网络设计具有更简单损失景观且局部极大值较少的原网络。我们选择的代理网络是原网络的完全复制副本，包括其权重，仅在 Leaky ReLU 上具有不同的负斜率。此外，我们展示 ProxyGrad 可用于训练卷积神经网络的权重进行分类，在部分测试基准上，它们超过了传统网络。
引用
@article{arxiv.2410.16958,
title = {Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks},
author = {Christoph Linse and Erhardt Barth and Thomas Martinetz},
journal= {arXiv preprint arXiv:2410.16958},
year = {2024}
}