基于Skim-RNN的神经速读
计算与语言
2018-03-30 v3
摘要
受速读原理启发，我们提出 Skim-RNN，一种循环神经网络（RNN），它动态决定仅对相对不重要的输入 token 更新一小部分隐藏状态。Skim-RNN 相比始终更新整个隐藏状态的 RNN 具有计算优势。Skim-RNN 使用与标准 RNN 相同的输入和输出接口，可轻易替代现有模型中的 RNN。在我们的实验中，我们表明在五项不同的自然语言任务上，Skim-RNN 相比标准 RNN 能在不损失精度的前提下显著降低计算成本。此外，我们证明 Skim-RNN 的精度与速度之间的权衡可在推理时以稳定方式动态控制。我们的分析还表明，在单个 CPU 上运行的 Skim-RNN 相比 GPU 上的标准 RNN 具有更低的延迟。
引用
@article{arxiv.1711.02085,
title = {Neural Speed Reading via Skim-RNN},
author = {Minjoon Seo and Sewon Min and Ali Farhadi and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:1711.02085},
year = {2018}
}
备注
ICLR 2018