IGLOO：切片特征空间以表征序列
机器学习
2020-06-18 v3 机器学习
摘要
历史上，循环神经网络（RNN）及其变体如 LSTM 和 GRU，以及近年的 Transformer，一直是使用神经网络处理序列数据时的标准首选组件。一个显著的问题是对长序列（即超过 20,000 步）的处理相对困难。我们提出 IGLOO，一种旨在对短序列高效且能处理长序列的新神经网络架构。IGLOO 的核心思想是利用从连续施加的卷积的特征图上切出的非局部块之间的关系来构建序列的表征。我们表明该模型能在合理的时间范围内处理超过 20,000 步的依赖关系。我们在复制记忆和加法任务以及置换 MNIST（98.4%）上对 IGLOO 进行了压力测试。对于更大的任务，我们将这一新结构应用于 Wikitext-2 数据集 Merity et al. (2017b)，取得了与基线 Transformer 相当但低于基线 AWD-LSTM 的困惑度。我们还展示了 IGLOO 如今已在生产环境中用于生物信息学任务。
引用
@article{arxiv.1807.03402,
title = {IGLOO: Slicing the Features Space to Represent Sequences},
author = {Vsevolod Sourkov},
journal= {arXiv preprint arXiv:1807.03402},
year = {2020}
}
备注
12 pages