Kafnets：基于核的神经网络非参数激活函数
机器学习
2017-11-27 v2 人工智能
机器学习
神经与进化计算
摘要
神经网络通常通过将（可适应的）线性层与（固定的）非线性激活函数交错构建。为了增加其灵活性，若干作者提出了调整激活函数本身的方法，赋予它们不同程度的灵活性。然而，这些方法中没有一种在实践中获得广泛接受，且该主题的研究仍然开放。本文中，我们引入了一类新颖的灵活激活函数，其基于在每个神经元处进行廉价的核展开。利用核模型的若干性质，我们提出了设计和初始化这些核激活函数（KAFs）的多种变体，包括一种允许多维地非线性组合网络中不同路径信息的方法。所得的 KAFs 可以逼近定义在实线子集上的任何映射，无论是凸的还是非凸的。此外，它们在整体定义域上光滑，关于其参数线性，并且可以使用任何已知方案进行正则化，包括使用 惩罚来强制稀疏性。据我们所知，没有其他已知模型能同时满足所有这些性质。另外，我们提供了关于调整激活函数的替代技术相对完整的概述，这是目前文献中所缺乏的。大量实验验证了我们的提议。
引用
@article{arxiv.1707.04035,
title = {Kafnets: kernel-based non-parametric activation functions for neural networks},
author = {Simone Scardapane and Steven Van Vaerenbergh and Simone Totaro and Aurelio Uncini},
journal= {arXiv preprint arXiv:1707.04035},
year = {2017}
}
备注
Preprint submitted to Neural Networks (Elsevier)