MS-BACO：一种基于二进制蚁群优化的用于降低神经复杂度与误差的模型选择算法
神经与进化计算
2018-10-23 v1
摘要
对于给定的逼近任务，通过定义适当的模型规模来稳定前馈神经网络（FNNs）的复杂度是可行的，该规模也与泛化质量和计算效率高度相关。然而，在 FNN 应用中确定恰当的模型复杂度水平极具挑战性。本文提出一种使用二进制蚁群优化的模型选择算法（MS-BACO），以在神经复杂度和交叉熵误差方面获得最优 FNN 模型。MS-BACO 是一种将问题视为组合优化问题的元启发式算法。通过使用一种称为扩展傅里叶振幅灵敏度测试的基于样本的灵敏度分析方法，量化隐藏神经元间存在的相关性量以及 FNN 输出对隐藏神经元的灵敏度，该算法大多倾向于选择包含具有最显著差异超平面和高贡献百分比隐藏神经元的 FNN 模型。研究了具有三种不同启发式信息设计的所提算法性能。结果比较证实，新引入的算法能够提供更紧凑且更准确的 FNN 模型。
引用
@article{arxiv.1810.08944,
title = {MS-BACO: A new Model Selection algorithm using Binary Ant Colony Optimization for neural complexity and error reduction},
author = {Saman Sadeghyan and Shahrokh Asadi},
journal= {arXiv preprint arXiv:1810.08944},
year = {2018}
}
备注
29 pages, 13 figures, 4 tables, 2 algorithms, preprint submission