ReLU 层的奇异值
机器学习
2019-08-13 v2 机器学习
摘要
尽管 ReLU 层在神经网络中十分普遍，我们仍缺乏对其透彻的理论刻画。本文旨在通过研究激活函数 ReLU 如何与层的线性分量相互作用，以及这种相互作用在神经网络成功完成预期任务中所起的作用，来增进对 ReLU 层的理解。为此，我们引入两种新工具：算子的 ReLU 奇异值与算子的高斯平均宽度。一方面给出这两个概念的理论依据、结果与解释，另一方面给出 ReLU 奇异值和高斯平均宽度应用于已训练神经网络时的数值实验与结果，我们希望提供关于 ReLU 层的以奇异值为中心的全面视角。我们发现 ReLU 奇异值和高斯平均宽度不仅能提供理论洞见，还给出了有望用于实际应用的度量指标。特别地，这些度量可用于在网络中区分正确与错误分类的数据。最后我们基于发现引入两种工具：双层与谐波剪枝。
引用
@article{arxiv.1812.02566,
title = {Singular Values for ReLU Layers},
author = {Sören Dittmer and Emily J. King and Peter Maass},
journal= {arXiv preprint arXiv:1812.02566},
year = {2019}
}