MuFuRU：多功能循环单元
神经与进化计算
2016-06-10 v1 人工智能
计算与语言
摘要
诸如 GRU 和 LSTM 之类的循环神经网络在自然语言处理中得到了广泛应用，并在许多任务中取得了 SOTA 结果。这些模型的特点是具有一个记忆状态，通过对当前输入和前一状态应用门控组合操作，可以对其进行写入和读取。然而，它们仅涵盖了潜在有用组合的一小部分。我们提出了多功能循环单元，允许使用任意可微函数作为组合操作。此外，MuFuRU 允许对这些组合操作进行依赖于输入和状态的选择，并且这种选择是可学习的。我们的实验表明，这种额外的功能在不同的序列建模任务中有所帮助，包括命题逻辑公式求值、语言建模和情感分析。
引用
@article{arxiv.1606.03002,
title = {MuFuRU: The Multi-Function Recurrent Unit},
author = {Dirk Weissenborn and Tim Rocktäschel},
journal= {arXiv preprint arXiv:1606.03002},
year = {2016}
}