噪声启发式 NAS：一种基于网络态射并利用启发式的神经架构搜索
机器学习
2022-07-12 v1 人工智能
神经与进化计算
摘要
基于网络态射的神经架构搜索(NAS)是最有效的方法之一，然而，何处以及何时添加新神经元或移除失效神经元通常留给黑盒强化学习模型处理。在本文中，我们提出一种称为噪声启发式 NAS 的新的基于网络态射的 NAS，它利用从手动开发神经网络模型中学习到的并受生物神经元动力学启发的启发式方法。首先，我们随机添加新神经元并剪枝掉一些以仅保留最适配的神经元。其次，我们利用隐藏单元与输入输出连接数之间的关系来控制网络层数。我们的方法可以在线增加或降低模型的容量或非线性，这由用户通过少量元参数指定。我们的方法在玩具数据集和 MNIST、CIFAR-10、CIFAR-100 等真实世界数据集上均具有泛化能力。其性能与具有相似参数的手工工程架构 ResNet-18 相当。
引用
@article{arxiv.2207.04467,
title = {Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics},
author = {Suman Sapkota and Binod Bhattarai},
journal= {arXiv preprint arXiv:2207.04467},
year = {2022}
}
备注
11 pages, 10 figures, DyNN workshop at the 39 th International Conference on Machine Learning, 2022