基于结构跳跃 LSTM 的神经速读
计算与语言
2019-04-03 v2 机器学习
机器学习
摘要
循环神经网络（RNN）可以通过顺序“读取”输入词元并输出每个词元的分布式表示来建模自然语言。由于 RNN 的顺序性质，推理时间与输入长度线性相关，并且无论输入的重要性如何都会读取所有输入。为加速此推理所做的努力（称为“神经速读”）要么忽略要么略读部分输入。我们提出 Structural-Jump-LSTM：首个在推理过程中既跳过又跳跃文本的神经网络速读模型。该模型由一个标准 LSTM 和两个智能体组成：一个能够在读取时跳过单个单词，另一个能够利用标点结构（子句分隔符（，：）、句子结束符号（.！？）或文本结束标记）在读取一个单词后向前跳跃。我们的模型与全部五种最先进的神经读取模型进行的综合实验评估表明，Structural-Jump-LSTM 实现了最佳的整体浮点运算（FLOP）减少（因此更快），同时保持与读取整个文本的普通 LSTM 相同的准确率甚至有所提高。
引用
@article{arxiv.1904.00761,
title = {Neural Speed Reading with Structural-Jump-LSTM},
author = {Christian Hansen and Casper Hansen and Stephen Alstrup and Jakob Grue Simonsen and Christina Lioma},
journal= {arXiv preprint arXiv:1904.00761},
year = {2019}
}
备注
10 pages