检测ReLU网络中的记忆化
机器学习
2018-10-09 v1 机器学习
摘要
我们提出了一种关于网络层相对于输入批次的‘非线性’新概念，基于其接近线性系统的程度，这反映于激活矩阵的非负秩中。我们通过将非负分解应用于激活矩阵来度量该非线性。考虑相似样本的批次时，我们发现深层中的高非线性是记忆化的指示。此外，通过逐层应用我们的方法，我们发现记忆化的机制由不同相位组成。我们在训练于若干图像与音频数据集上的全连接与卷积神经网络上进行了实验。我们的结果表明，作为记忆化的指示器，我们的技术可用于执行早停（early stopping）。
引用
@article{arxiv.1810.03372,
title = {Detecting Memorization in ReLU Networks},
author = {Edo Collins and Siavash Arjomand Bigdeli and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:1810.03372},
year = {2018}
}