统计循环单元
机器学习
2017-03-02 v1 人工智能
机器学习
摘要
像 LSTM 和 GRU 这样复杂的门控循环神经网络架构已被证明在无数应用中高效。我们开发了一种无门单元——统计循环单元（SRU），它仅通过保持统计量的移动平均来学习数据中的长期依赖。SRU 的架构简单、无门，参数量与 LSTM 相当；然而，SRU 在各种任务中表现优于更复杂的 LSTM 和 GRU 替代方案，往往优于其中之一或两者。我们通过在贝叶斯优化方案中优化各自架构的超参数，以无偏方式展示了 SRU 相对于 LSTM 和 GRU 的有效性，涵盖合成任务和真实世界任务。
引用
@article{arxiv.1703.00381,
title = {The Statistical Recurrent Unit},
author = {Junier B. Oliva and Barnabas Poczos and Jeff Schneider},
journal= {arXiv preprint arXiv:1703.00381},
year = {2017}
}