基于随机权重矩阵的深度神经网络正则化方法
机器学习
2022-06-07 v1 神经与进化计算
摘要
本文旨在介绍两种基于直接修改权重矩阵的广泛适用的正则化方法。第一种方法，权重重初始化（Weight Reinitialization），利用简化的贝叶斯假设，对参数的一个稀疏子集进行部分重置。第二种方法，权重洗牌（Weight Shuffling），向参数中引入一种熵和权重分布不变的非白噪声。后者也可解释为一种集成方法。所提出的方法在基准数据集（如 MNIST、CIFAR-10 或 JSB Chorales 数据库）以及时间序列建模任务上进行了评估。我们报告了所分析网络在性能和熵两方面的提升。我们还将代码作为 GitHub 仓库公开（https://github.com/rpatrik96/lod-wmm-2019）。
引用
@article{arxiv.1909.11977,
title = {Stochastic Weight Matrix-based Regularization Methods for Deep Neural Networks},
author = {Patrik Reizinger and Bálint Gyires-Tóth},
journal= {arXiv preprint arXiv:1909.11977},
year = {2022}
}
备注
Preprint of an LOD 2019 conference paper, 12 pages, 5 figures