神经路径特征与神经路径核：理解深度学习中门的作用
机器学习
2021-06-15 v2 机器学习
摘要
线性整流单元（ReLU）激活函数也可以被视为“门”，当它们“开启”（当预激活输入为正）或“关闭”（当预激活输入为负）时，分别通过或阻止其预激活输入。带有 ReLU 激活的深度神经网络（DNN）具有许多门，并且每个门的开/关状态会随输入样本以及网络权重而变化。对于给定的输入样本，只有一部分门是“激活”的，即开启的，而连接到这些激活门的权重子网络负责产生输出。在随机初始化时，对应于给定输入样本的激活子网络是随机的。在训练期间，随着权重的学习，激活子网络也被学习，并可能包含非常有价值的信息。在本文中，我们从分析上刻画了激活子网络在深度学习中的作用。为此，我们将给定输入的门开/关状态编码为一种新颖的“神经路径特征”（NPF），并将 DNN 的权重编码为一种新颖的“神经路径值”（NPV）。进一步，我们表明网络的输出确实是 NPF 和 NPV 的内积。本文的主要结果表明，与 NPF 相关的“神经路径核”是表征 DNN 门中所存储信息的基本量。我们通过实验（在 MNIST 和 CIFAR-10 上）表明，在带有 ReLU 激活的标准 DNN 中，NPF 在训练期间被学习，并且这种学习对泛化至关重要。此外，NPF 和 NPV 可以在两个独立的网络中被学习，并且这种学习在实验中也表现出良好的泛化能力。
引用
@article{arxiv.2006.10529,
title = {Neural Path Features and Neural Path Kernel : Understanding the role of gates in deep learning},
author = {Chandrashekar Lakshminarayanan and Amit Vikram Singh},
journal= {arXiv preprint arXiv:2006.10529},
year = {2021}
}
备注
Appeared in NeurIPS 2020 (23 pages)