深度复值网络的贝叶斯稀疏化方法
机器学习
2020-06-30 v2 机器学习
摘要
随着持续的小型化，深度学习的应用越来越多地出现在嵌入式系统中，其中常会遇到具有自然复域表示的数据。为此，我们将稀疏变分 dropout 扩展至复值神经网络，并通过开展大规模数值研究来验证所提出的贝叶斯技术，该研究针对 C 值网络在两项任务上的性能-压缩权衡：MNIST 类与 CIFAR10 数据集上的图像识别，以及 MusicNet 上的音乐转录。我们以压缩 50-100 倍且仅微小性能损失的复值网络，复现了 Trabelsi 等人 [2018] 在 MusicNet 上的 SOTA 结果。
引用
@article{arxiv.2003.11413,
title = {Bayesian Sparsification Methods for Deep Complex-valued Networks},
author = {Ivan Nazarov and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2003.11413},
year = {2020}
}
备注
Findings and conclusions unchanged. Improved overall presentation and redid the plots with larger markers and annotations. Coherent story about compression, CVNN, BI to SGVB with local reparameterization and additive noise. Better coverage in lit-review, clearer connections of Dropout to Bayes, VD, and pruning