EnSyth：一种用于深度学习集成合成的剪枝方法
机器学习
2020-04-13 v1 机器学习
摘要
深度神经网络已在包括计算机视觉、自然语言处理和自动驾驶在内的许多领域取得最先进性能。然而，它们计算开销大且内存密集，这在严格延迟应用或资源受限环境中部署或训练时带来重大挑战。因此，已提出许多尝试来加速和压缩深度学习模型，但多数未能保持基线模型的同等精度。本文中，我们描述 EnSyth，一种用于增强紧凑神经网络模型可预测性的深度学习集成方法。首先，我们使用不同超参数对一种剪枝方法生成一组多样的压缩深度学习模型，之后利用集成学习合成这些压缩模型的输出以构成一个新的分类器池。最后，我们对生成的池应用向后消除以探索最佳模型组合。在 CIFAR-10、CIFAR-5 数据集及 LeNet-5 上，EnSyth 优于基线模型的可预测性。
引用
@article{arxiv.1907.09286,
title = {EnSyth: A Pruning Approach to Synthesis of Deep Learning Ensembles},
author = {Besher Alhalabi and Mohamed Medhat Gaber and Shadi Basurra},
journal= {arXiv preprint arXiv:1907.09286},
year = {2020}
}
备注
accepted in SMC2019