关于使用核激活函数学习的稳定性与泛化
机器学习
2019-03-29 v1 机器学习
摘要
在本文中，我们研究了一类最近提出的非参数激活函数，即核激活函数 (KAFs) 的泛化性质。KAFs 在学习过程中引入了额外的参数，以便基于每个神经元单独适应非线性，利用每个激活值的廉价核展开。虽然这种灵活性的增加在实践中已被证明能带来显著的改进，但其泛化能力的理论证明在文献中尚未得到解决。在这里，我们利用了关于通过随机梯度下降 (SGD) 训练的非凸模型稳定性质的最新文献。通过间接证明所考虑模型的两个关键平滑性质，我们证明了配备 KAFs 的神经网络在用 SGD 训练有限步数时具有良好的泛化能力。有趣的是，我们的分析为选择模型的超参数之一，即标量高斯核的带宽，提供了指导。简短的实验评估验证了该证明。
引用
@article{arxiv.1903.11990,
title = {On the Stability and Generalization of Learning with Kernel Activation Functions},
author = {Michele Cirillo and Simone Scardapane and Steven Van Vaerenbergh and Aurelio Uncini},
journal= {arXiv preprint arXiv:1903.11990},
year = {2019}
}
备注
Submitted as a brief paper to IEEE TNNLS