循环神经网络神经元的自动合成
神经与进化计算
2022-07-11 v1 人工智能
机器学习
摘要
我们提出一类新神经元 ARNs，其在测试数据上的交叉熵可低至精心优化 LSTM 神经元所达交叉熵的三分之一。这些常获巨大提升的解释在于精巧的跨时间跳跃连接、每个神经元多达四个内部记忆状态，以及若干新颖激活函数（含小型二次型）。新神经元通过自动编程生成，并表述为易于变换的纯函数式程序。我们给出了八个数据集的实验结果，其中七个有极佳提升，但有一个数据集上 LSTM 仍最优。结果如此可观，以至于自动编程生成新神经元应成为任何处理传感器信号等时间序列数据的机器学习从业者的标准操作流程之一。
引用
@article{arxiv.2207.03577,
title = {Automatic Synthesis of Neurons for Recurrent Neural Nets},
author = {Roland Olsson and Chau Tran and Lars Magnusson},
journal= {arXiv preprint arXiv:2207.03577},
year = {2022}
}