随机特征回归模型的最优激活函数
机器学习
2023-03-28 v3 人工智能
机器学习
摘要
随机特征回归模型（RFR）的渐近均方测试误差与敏感性近来已被研究。我们基于该工作，以闭式识别出在不同函数简洁性概念下最小化RFR测试误差与敏感性组合的那类激活函数（AF）。我们发现最优AF为线性、饱和线性函数或可用Hermite多项式表示的情形。最后，我们展示了使用最优AF如何影响RFR模型的既有性质，例如其双下降曲线，以及其最优正则化参数对观测噪声水平的依赖性。
引用
@article{arxiv.2206.01332,
title = {Optimal Activation Functions for the Random Features Regression Model},
author = {Jianxin Wang and José Bento},
journal= {arXiv preprint arXiv:2206.01332},
year = {2023}
}