使用循环加权平均在序列数据上进行机器学习
机器学习
2019-02-18 v5 机器学习
摘要
循环神经网络（RNN）是一种设计用于处理序列数据的统计模型。该模型每次读取序列中的一个符号。每个符号基于从先前符号收集的信息进行处理。在现有的 RNN 架构中，每个符号仅使用来自先前处理步骤的信息进行处理。为了克服这一局限性，我们提出了一种新的 RNN 模型，它在每个过去的处理步骤上计算循环加权平均（RWA）。由于 RWA 可以作为滑动平均进行计算，其计算开销与任何其他 RNN 架构相当。该方法本质上将注意力机制重新表述为一个独立的模型。RWA 模型的性能在变量复制问题、加法问题、人工语法分类、按长度序列分类以及 MNIST 图像分类（其中像素每次按顺序读取一个）上进行了评估。在几乎每个任务上，RWA 模型的表现都优于标准的 LSTM 模型。
引用
@article{arxiv.1703.01253,
title = {Machine Learning on Sequential Data Using a Recurrent Weighted Average},
author = {Jared Ostmeyer and Lindsay Cowell},
journal= {arXiv preprint arXiv:1703.01253},
year = {2019}
}