隐藏激活不足：神经网络预测的一般方法
机器学习
2024-09-23 v1 神经与进化计算
表示论
摘要
我们引入了一个新颖的数学框架，利用箭图表示论的工具分析神经网络。该框架使我们能够量化新数据样本与训练数据之间被神经网络感知的相似度。通过利用数据样本诱导的箭图表示，我们捕获了比传统隐藏层输出更多的信息。该箭图表示将前向传播计算的复杂性抽象为单个矩阵，使我们能够在矩阵空间中运用简单的几何与统计论证来研究神经网络预测。我们的数学结果与架构无关且与任务无关，具有广泛的适用性。作为概念验证实验，我们将结果应用于 MNIST 和 FashionMNIST 数据集，针对在不同 MLP 架构和若干对抗攻击方法下检测对抗样本的问题。我们的实验可通过我们公开的代码库复现：\href{https://github.com/MarcoArmenta/Hidden-Activations-are-not-Enough}{公开代码库}。
引用
@article{arxiv.2409.13163,
title = {Hidden Activations Are Not Enough: A General Approach to Neural Network Predictions},
author = {Samuel Leblanc and Aiky Rasolomanana and Marco Armenta},
journal= {arXiv preprint arXiv:2409.13163},
year = {2024}
}