通过自适应稀疏连接改善深度学习泛化能力
神经与进化计算
2019-06-28 v1 机器学习
摘要
大型神经网络在各种任务中非常成功。然而，在数据有限的情况下，深度神经网络的泛化能力也非常有限。在本文中，我们通过实验初步表明，具有自适应稀疏连接的内禀稀疏神经网络，因其设计上在训练阶段有严格的参数预算，比其全连接对应网络具有更好的泛化能力。除此之外，我们提出了一种新技术，通过将稀疏进化训练（SET）过程与神经元剪枝相结合来训练这些稀疏模型。在多层感知机（MLP）上操作并在 15 个数据集上进行测试，我们提出的技术在训练期间将约 50% 的隐藏神经元归零，同时相对于神经元数量具有线性数量的待优化参数。结果展示了具有竞争力的分类和泛化性能。
引用
@article{arxiv.1906.11626,
title = {On improving deep learning generalization with adaptive sparse connectivity},
author = {Shiwei Liu and Decebal Constantin Mocanu and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:1906.11626},
year = {2019}
}
备注
ICML 2019 Workshop on Understanding and Improving Generalization in Deep Learning