全局思考，局部行动：深度神经网络泛化与节点级信噪比的关系
机器学习
2020-02-13 v1 信号处理
机器学习
摘要
深度神经网络（DNN）良好泛化能力背后的原因仍是一个开放问题。本文通过考察网络中节点的信噪比（SNR）来探讨该问题。从信息论原理出发，可以推导出 DNN 节点输出的 SNR 表达式。利用该表达式，我们构建了若干优值指标，用以量化一个节点的权重对 SNR（或等价地，信息率）的优化程度。应用这些优值指标，我们给出示例表明，能够促进良好 SNR 表现的权重集同时也展现出良好的泛化能力。此外，我们得以识别那些展现出良好 SNR 行为从而促进良好泛化的权重集所具有的特性。这引发了对这些结果如何与网络训练与正则化相关联的讨论。最后，我们指出了这些观察可在训练设计中加以利用的一些方式。
引用
@article{arxiv.2002.04687,
title = {Think Global, Act Local: Relating DNN generalisation and node-level SNR},
author = {Paul Norridge},
journal= {arXiv preprint arXiv:2002.04687},
year = {2020}
}
备注
15 pages, 5 figures; for associated colab files see http://github.com/pnorridge/think-global-act-local/settings