精炼门：一种简单有效的循环单元门控机制
计算机视觉与模式识别
2020-05-27 v2 机器学习
神经与进化计算
摘要
循环神经网络（RNN）在序列学习任务中已被广泛研究，而主流模型（如 LSTM 和 GRU）依赖于门控机制（用于控制信息在隐藏状态间的流动）。然而，RNN 中的原始门（如 LSTM 中的输入门）存在门欠训练问题，其可由多种因素引起，例如饱和激活函数、门布局（如门数量与门控函数），甚至次优记忆状态等。这些可能导致门控开关角色学习失败，从而性能较弱。本文在通用门控循环神经网络中提出一种新的门控机制以解决此问题。具体而言，所提门将提取的输入特征直接短路连接至原始门的输出，记为精炼门。该精炼机制可增强梯度反向传播并扩展门控激活范围，从而引导 RNN 达到可能更深的极小值。我们在三种流行的门控 RNN（包括 LSTM、GRU 和 MGU）上验证了所提门控机制。在 3 个合成任务、3 个语言建模任务和 5 个场景文本识别基准上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2002.11338,
title = {Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units},
author = {Zhanzhan Cheng and Yunlu Xu and Mingjian Cheng and Yu Qiao and Shiliang Pu and Yi Niu and Fei Wu},
journal= {arXiv preprint arXiv:2002.11338},
year = {2020}
}