激活函数：神经网络模块性与任务性能之间的权衡？
机器学习
2020-09-17 v1 机器学习
摘要
当前研究表明，设计神经网络架构的关键因素包括为每一卷积层选择滤波器数量、为每一全连接层选择隐藏神经元数量、丢弃(dropout)与剪枝(pruning)。大多数情况下的默认激活函数是 ReLU，因其经验上表现出更快的训练收敛。我们探究：若旨在获得神经网络内更好的模块化结构，ReLU 是否仍是最佳选择。
引用
@article{arxiv.2009.07793,
title = {Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance},
author = {Himanshu Pradeep Aswani and Amit Sethi},
journal= {arXiv preprint arXiv:2009.07793},
year = {2020}
}
备注
5 pages, 1 figure, 2 tables, pre-print