Goldilocks 神经网络
机器学习
2021-10-11 v2 机器学习
摘要
我们引入了新的“Goldilocks”类激活函数，该类函数仅在输入信号处于适当范围时对输入信号进行局部非线性变形。对信号的微小局部变形有助于更好地理解信号如何以及为何在各层间被转换。在 CIFAR-10 与 CIFAR-100 数据集上的数值结果表明，Goldilocks 网络的性能优于或与 SELU 和 RELU 相当，同时带来了信号在各层间变形的可追踪性。
引用
@article{arxiv.2002.05059,
title = {Goldilocks Neural Networks},
author = {Jan Rosenzweig and Zoran Cvetkovic and Ivana Rosenzweig},
journal= {arXiv preprint arXiv:2002.05059},
year = {2021}
}