多核激活函数：构造与案例研究
机器学习
2019-01-30 v1 机器学习
摘要
激活函数的设计是神经网络领域一个日益增长的研究方向。特别地，不同于使用固定的逐点函数（如修正线性单元），若干作者已提出以非参数方式直接从数据学习这些函数的方法。本文关注核激活函数（KAF），一种近期提出的框架，其中每个函数被建模为一维核模型，其权重通过标准基于反向传播的优化进行调整。KAF 的一个缺陷是需要选取单一核函数及其最终超参数。为部分克服该问题，我们受多核学习文献启发，提出了 KAF 模型的扩展，其中在每个神经元处线性组合多个核。我们将所得的多 KAF 应用于一个现实用例，具体而言是在 ‘In Codice Ratio’ 项目背景下收集的大型数据集上的手写拉丁文 OCR。结果显示，即便整体参数更少，多 KAF 亦可提高此前为该任务开发的卷积网络的精度，且收敛更快。
引用
@article{arxiv.1901.10232,
title = {Multikernel activation functions: formulation and a case study},
author = {Simone Scardapane and Elena Nieddu and Donatella Firmani and Paolo Merialdo},
journal= {arXiv preprint arXiv:1901.10232},
year = {2019}
}
备注
Accepted for presentation at INNS BDDL 2019 (https://innsbddl2019.org)