神经网络训练中新型激活函数的演化及其在系外行星分类中的应用
天体物理仪器与方法
2020-12-02 v1 机器学习
数据分析、统计与概率
机器学习
摘要
我们展示了对新型激活函数的解析探索，这是若干思想整合后得以实现并随后用于系外行星宜居性分类的结果。神经网络虽是监督方法中强大的引擎，但常需昂贵的调参努力以获得优化性能。宜居性类别难以区分，尤其是当用作分离硬标记的属从数据集中移除时。该解从研究所提激活函数的解析性质入手。常微分方程与不动点理论被用于证明与传统激活函数相比实现最优性能“无需调参努力”。此外，通过广泛的解析与经验证据，建立了所提激活函数与更流行函数之间的关系。最后，这些激活函数已在普通前馈神经网络中实现以对系外行星进行分类。
引用
@article{arxiv.1906.01975,
title = {Evolution of Novel Activation Functions in Neural Network Training with Applications to Classification of Exoplanets},
author = {Snehanshu Saha and Nithin Nagaraj and Archana Mathur and Rahul Yedida},
journal= {arXiv preprint arXiv:1906.01975},
year = {2020}
}
备注
41 pages, 11 figures