基于 RNN 的自然语言推理中 Dropout 的探索
计算与语言
2018-10-23 v1 机器学习
摘要
Dropout 是自然语言推理(NLI)的循环神经网络(RNN)模型中一种关键的正则化技术。然而,dropout 在 NLI 模型中不同层及不同 dropout 率下的有效性尚未得到评估。在本文中,我们提出一种用于 NLI 的新型 RNN 模型,并实证评估在模型不同层应用 dropout 的效果。我们还研究了这些层上不同 dropout 率的影响。我们在大型(Stanford Natural Language Inference (SNLI))和小型(SciTail)数据集上的实证评估表明,在每个前馈连接上的 dropout 在 dropout 率增大时严重影响了模型准确率。我们还表明,对嵌入层正则化对 SNLI 是高效的,而对循环层正则化提升了 SciTail 的准确率。我们的模型在 SNLI 数据集上达到了 86.14% 的准确率,在 SciTail 上达到了 77.05%。
引用
@article{arxiv.1810.08606,
title = {An Exploration of Dropout with RNNs for Natural Language Inference},
author = {Amit Gajbhiye and Sardar Jaf and Noura Al Moubayed and A. Stephen McGough and Steven Bradley},
journal= {arXiv preprint arXiv:1810.08606},
year = {2018}
}
备注
Accepted in International Conference on Artificial Neural Networks, 2018