基于 SG-MCMC 与网络剪枝的稀疏结构化集成学习
机器学习
2018-05-24 v3 机器学习
摘要
神经网络集成已知比单个网络更鲁棒且更准确，然而通常在训练和测试上均带来线性增长的成本。本工作中，我们提出一种两阶段方法来学习神经网络的稀疏结构化集成（SSEs）。第一阶段，我们运行带有组稀疏先验的 SG-MCMC，从网络参数的后验分布中抽取集成样本。第二阶段，我们对每个采样网络进行权重剪枝，然后对保留的连接进行重训练。这种通过 SG-MCMC 与剪枝学习 SSEs 的方式，我们不仅因 SG-MCMC 增强了对模型参数空间的探索而获得了高预测精度，还显著降低了 NN 集成在训练和测试中的内存与计算成本。这在 FNNs 和 LSTMs 的 SSE 集成学习实验中得到了充分评估。例如，在基于 LSTM 的语言建模（LM）中，通过学习由 4 个大型 LSTM 模型组成的 SSE，我们获得了 21% 的 LM 困惑度相对降低，而相比基线大型 LSTM LM，其模型参数总量仅为 30%、计算量仅为 70%。据我们所知，本工作代表了将 SG-MCMC、组稀疏先验与网络剪枝结合用于学习 NN 集成的首例方法与实证研究。
引用
@article{arxiv.1803.00184,
title = {Learning Sparse Structured Ensembles with SG-MCMC and Network Pruning},
author = {Yichi Zhang and Zhijian Ou},
journal= {arXiv preprint arXiv:1803.00184},
year = {2018}
}