优化深度神经网络架构：一种基于禁忌搜索的方法
机器学习
2020-05-01 v1 人工智能
神经与进化计算
机器学习
摘要
前馈神经网络（FNN）的性能完全取决于架构和训练算法的选择。FNN 架构可使用若干参数进行调整，例如隐藏层数量、各隐藏层的隐藏神经元数量以及层间连接数量。这些架构属性可能有指数级组合，手动处理难以胜任，因此需要一种能够自动设计具有高泛化能力的最优架构的算法。众多优化算法已被用于 FNN 架构确定。本文提出一种新方法，可作用于 FNN 隐藏层及其相应神经元的估计。本工作结合禁忌搜索（TS）与带动量的梯度下降反向传播（GDM）训练算法的优势，以展示禁忌搜索如何基于最小测试误差准则从生成的架构中自动选择最佳架构。所提方法已在四个不同规模的分类基准数据集上进行了测试。
引用
@article{arxiv.1808.05979,
title = {Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach},
author = {Tarun Kumar Gupta and Khalid Raza},
journal= {arXiv preprint arXiv:1808.05979},
year = {2020}
}
备注
15 pages, 2 figures, 2 algorithms, 2 tables