具有激活函数点单式选择的神经网络
神经与进化计算
2022-06-27 v1 机器学习
摘要
激活函数（AF）对神经网络的成败至关重要，近年来受到越来越多的关注，研究者致力于设计可改善网络某方面性能的新型 AF。在本文中我们采取另一方向，将大量已知 AF 组合进成功的架构中，并提出三种有益实现此目的的方法：1）随机生成 AF 架构，2）使用自动超参数优化软件框架 Optuna 配合树状 Parzen 估计器（TPE）采样器，3）使用 Optuna 配合协方差矩阵适应进化策略（CMA-ES）采样器。我们表明，对于 25 个分类问题，与由 ReLU 隐藏单元和 softmax 输出单元组成的标准网络相比，所有方法均常产生显著更优的结果。采用 TPE 采样器的 Optuna 成为最佳的 AF 架构生成方法。
引用
@article{arxiv.2206.12166,
title = {Neural Networks with A La Carte Selection of Activation Functions},
author = {Moshe Sipper},
journal= {arXiv preprint arXiv:2206.12166},
year = {2022}
}