由信息瓶颈理论引导的用于初始化的神经元竞选
机器学习
2021-08-17 v1 人工智能
摘要
初始化在深度神经网络（DNN）的训练中起着关键作用。现有的初始化策略主要关注稳定训练过程以缓解梯度消失/爆炸问题。然而，这些初始化方法缺乏关于如何增强泛化能力的考量。信息瓶颈（IB）理论是一个著名的用于解释 DNN 泛化能力的理解框架。在 IB 理论所提供洞见的引导下，我们设计了两个准则以更好地初始化 DNN。我们进一步设计了一种神经元竞选初始化算法，用于在给定数据集上高效地为神经网络选取良好的初始化。在 MNIST 数据集上的实验表明，我们的方法能够带来更好的泛化性能与更快的收敛速度。
引用
@article{arxiv.2108.06530,
title = {Neuron Campaign for Initialization Guided by Information Bottleneck Theory},
author = {Haitao Mao and Xu Chen and Qiang Fu and Lun Du and Shi Han and Dongmei Zhang},
journal= {arXiv preprint arXiv:2108.06530},
year = {2021}
}
备注
5 pages, Accepted by CIKM'21