Ising-Dropout：一种用于深度神经网络训练与压缩的正则化方法
神经与进化计算
2019-02-26 v1 机器学习
摘要
过拟合是训练机器学习模型尤其是深度神经网络时的主要问题。该问题可能由数据集不平衡及模型参数初始化引起，使模型过度贴合训练数据，并对模型在未见数据上的泛化性能产生负面影响。原始 dropout 是一种在训练期间随机丢弃隐藏单元的正则化技术。本文提出一种自适应技术，利用网络的 Ising 能量明智地丢弃深度神经网络中的可见与隐藏单元。初步结果表明，所提方法在每一训练周期中消除不必要网络参数优化的同时，能使分类性能保持与原网络相当。单元的 dropout 状态也可应用于训练后（推理）模型。该技术就 MNIST 与 Fashion-MNIST 数据集上的分类任务，分别可将网络参数量压缩达 41.18% 与 55.86%。
引用
@article{arxiv.1902.08673,
title = {Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks},
author = {Hojjat Salehinejad and Shahrokh Valaee},
journal= {arXiv preprint arXiv:1902.08673},
year = {2019}
}
备注
This paper is accepted at 44th IEEE International Conference on Acoustics, Speech and Signal Processing (IEEE ICASSP), 2019