基于相关变分 Beta-Bernoulli Dropout 的自适应网络稀疏化
机器学习
2019-03-05 v3 机器学习
摘要
尽管变分 dropout 方法已被证明对网络稀疏化有效，但它们仍非最优，因为它们在设定每个神经元的 dropout 率时未考虑输入数据。借助这种输入无关的 dropout，每个神经元被演化为跨输入通用的形式，这使得在不损失精度的情况下难以稀疏化网络。为克服此限制，我们提出自适应变分 dropout，其概率从诱导稀疏性的 beta Bernoulli 先验中抽取。它允许每个神经元被演化为通用的、针对特定输入的，或完全被丢弃。这种输入自适应的稀疏性诱导 dropout 通过消除特征间冗余，使所得网络在更大稀疏度下仍不丧失表达能力。我们在多个公开数据集上验证了我们的相关变分 beta-Bernoulli dropout，相比基线方法它获得了明显更紧凑的网络，且相对基础网络有一致的精度提升。
引用
@article{arxiv.1805.10896,
title = {Adaptive Network Sparsification with Dependent Variational Beta-Bernoulli Dropout},
author = {Juho Lee and Saehoon Kim and Jaehong Yoon and Hae Beom Lee and Eunho Yang and Sung Ju Hwang},
journal= {arXiv preprint arXiv:1805.10896},
year = {2019}
}