面向机器学习的通用激活函数
机器学习
2022-11-07 v1 神经与进化计算
机器学习
摘要
本文提出一种通用激活函数（UAF），在量化、分类和强化学习（RL）问题中均取得近最优性能。对于任意给定问题，优化算法能够通过调整 UAF 的参数将其演化为合适的激活函数。对于 CIFAR-10 分类与 VGG-8，UAF 收敛到类 Mish 激活函数，与其他激活函数相比具有近最优性能 。对于在 30 dB 信噪比（SNR）环境下对模拟 9 种气体混合物的量化，UAF 收敛到恒等函数，其近最优均方根误差为 。在 BipedalWalker-v2 RL 数据集中，UAF 在 个 epoch 内达到 250 的奖励，证明 UAF 以最少 epoch 数收敛。此外，UAF 在 BipedalWalker-v2 RL 数据集中收敛到一个新的激活函数。
引用
@article{arxiv.2011.03842,
title = {Universal Activation Function For Machine Learning},
author = {Brosnan Yuen and Minh Tu Hoang and Xiaodai Dong and Tao Lu},
journal= {arXiv preprint arXiv:2011.03842},
year = {2022}
}