Squareplus：一种类 Softplus 的代数整流函数
机器学习
2021-12-23 v1 神经与进化计算
摘要
我们提出 squareplus，一种类似于 softplus 的激活函数，但仅可使用代数运算（加法、乘法和平方根）进行计算。由于在 CPU 上 squareplus 的求值速度比 softplus 快约 6 倍，且不需要调用超越函数，它可能在资源受限的深度学习应用中具有实用价值。
引用
@article{arxiv.2112.11687,
title = {Squareplus: A Softplus-Like Algebraic Rectifier},
author = {Jonathan T. Barron},
journal= {arXiv preprint arXiv:2112.11687},
year = {2021}
}
备注
https://github.com/jonbarron/squareplus