基于代理建模的高效激活函数优化
机器学习
2023-11-10 v6 神经与进化计算
摘要
精心设计的激活函数可提升神经网络在许多机器学习任务中的性能。然而，人类难以构建最优激活函数，且当前的激活函数搜索算法成本高昂。本文旨在通过三个步骤改进现有最优水平：首先，通过使用2,913个系统性生成的激活函数从头训练卷积、残差和视觉Transformer架构，创建了基准数据集Act-Bench-CNN、Act-Bench-ResNet和Act-Bench-ViT。其次，开发了基准空间的特征刻画方法，从而提出了一种基于代理的优化新方法。更具体地说，发现模型在初始化时预测分布相关的Fisher信息矩阵谱与激活函数的输出分布对性能具有高度预测性。第三，该代理被用于在实际任务中发现改进的激活函数，并有一个惊人发现：发现了一种优于所有其他激活函数的sigmoid型设计，挑战了深度学习中始终使用整流非线性单元的现状态。上述每一步本身即是一项贡献；它们共同构成了激活函数优化进一步研究的实用与理论基础。
引用
@article{arxiv.2301.05785,
title = {Efficient Activation Function Optimization through Surrogate Modeling},
author = {Garrett Bingham and Risto Miikkulainen},
journal= {arXiv preprint arXiv:2301.05785},
year = {2023}
}
备注
NeurIPS 2023. 28 pages, 16 figures, 6 tables