使用核激活函数具有灵活门的循环神经网络
神经与进化计算
2018-07-12 v1 机器学习
机器学习
摘要
门控循环神经网络在序列数据分析中取得了显著成果。在这些网络内部，门用于控制信息流，从而能够对数据中甚至非常长期的依赖关系进行建模。在本文中，我们探究原始的门方程（线性投影后接逐元素 sigmoid）是否可被改进。具体而言，我们设计了一种更灵活的架构，具有少量可适应参数，能够比经典门建模更广范围的门控函数。为此，我们用扩展最近提出的核激活函数（KAF）的非参数形式替换标准门中的 sigmoid 函数，并增加残差跳跃连接。在 MNIST 数据集序列变体上进行的一组实验表明，采用这种新颖的门可在计算力成本可忽略的情况下提高准确率，并大幅加快训练迭代次数。
引用
@article{arxiv.1807.04065,
title = {Recurrent Neural Networks with Flexible Gates using Kernel Activation Functions},
author = {Simone Scardapane and Steven Van Vaerenbergh and Danilo Comminiello and Simone Totaro and Aurelio Uncini},
journal= {arXiv preprint arXiv:1807.04065},
year = {2018}
}
备注
Accepted for presentation at 2018 IEEE International Workshop on Machine Learning for Signal Processing (MLSP)