基于变分推断Dropout的循环神经网络用于口语理解中的槽填充
计算与语言
2020-09-03 v1 声音
音频与语音处理
摘要
本文提出将带有基于变分推断(VI)的dropout正则化的变分循环神经网络(RNN)从长短期记忆(LSTM)单元推广到更先进的RNN架构,如门控循环单元(GRU)和双向LSTM/GRU。新的变分RNN被用于槽填充,这是口语理解中一个引人关注但具有挑战性的任务。在ATIS数据集上的实验表明,带有基于VI的dropout正则化的变分RNN在F值方面可以显著改进基于朴素dropout正则化RNN的基线系统。特别地,带有双向LSTM/GRU的变分RNN取得了最佳的F值分数。
引用
@article{arxiv.2009.01003,
title = {Variational Inference-Based Dropout in Recurrent Neural Networks for Slot Filling in Spoken Language Understanding},
author = {Jun Qi and Xu Liu and Javier Tejedor},
journal= {arXiv preprint arXiv:2009.01003},
year = {2020}
}
备注
conference paper, 5 pages