前馈神经架构空间的局部最优网络分析
神经与进化计算
2022-06-15 v1 人工智能
机器学习
摘要
本研究考察了局部最优网络（LON）分析（候选解适应度景观的一种衍生）在表征和可视化神经架构空间中的使用。通过在选定的数据集上评估训练模型性能，完全枚举了具有至多三层、每层至多 10 个神经元的前馈神经网络架构的搜索空间。提取的 LON 虽在不同数据集间异质，但均呈现简单的全局结构，除一种情况外所有情形均具有单一全局漏斗。这些结果提供了早期迹象：LON 可能提供一种可行的范式来分析和优化神经架构。
引用
@article{arxiv.2206.06903,
title = {A Local Optima Network Analysis of the Feedforward Neural Architecture Space},
author = {Isak Potgieter and Christopher W. Cleghorn and Anna S. Bosman},
journal= {arXiv preprint arXiv:2206.06903},
year = {2022}
}
备注
A version of this paper has been accepted for publication at IJCNN'22