奥卡姆之门

我们提出了一种用于训练带门控单元的循环神经网络(RNN)的辅助目标，有助于训练模型的正则化与可解释性。基于注意力的RNN模型已在许多具有长短期依赖的困难序列到序列分类问题中取得成功，然而这些模型易于过拟合。本文描述了如何通过门控单元激活上的L1惩罚来正则化这些模型，并表明该技术在多种任务上减少了过拟合，同时为我们提供了网络所用输入的人类可解释可视化。这些任务包括情感分析、释义识别和问答。