以数据高效方式通过轮次丢弃提升神经对话系统的鲁棒性
计算与语言
2018-11-30 v1
摘要
基于神经网络的对话模型常缺乏对异常、域外(OOD)用户输入的鲁棒性，导致非预期对话行为，从而极大限制了此类模型在关键任务生产环境中的使用。该问题在训练数据有限且无OOD样本可用的对话系统引导设定下尤为突出。本文中，我们探究此类系统对异常输入的鲁棒性问题及其在已见与未见数据上精度间的权衡。我们提出一个用于研究对话系统OOD输入鲁棒性的新数据集，即受控加入OOD内容的bAbI对话任务6增强版。随后我们提出轮次丢弃(turn dropout)，一种简单而高效的基于负采样的技术，用于提升神经对话模型的鲁棒性。我们展示了其应用于混合代码网络(Hybrid Code Network, HCN)系列模型的有效性，这些模型在我们的OOD增强数据集及原始数据集上均达到最先进(state-of-the-art, SOTA)结果。具体而言，经轮次丢弃训练的HCN在增强数据集的OOD轮次上达到超过75%的每话语准确率，并作为OOD检测器取得74%的F1分数。此外，我们引入增强轮次丢弃的变分HCN，在原始bAbI任务6数据集上取得超过56.5%的准确率，从而优于最初报告的HCN结果。
引用
@article{arxiv.1811.12148,
title = {Improving Robustness of Neural Dialog Systems in a Data-Efficient Way with Turn Dropout},
author = {Igor Shalyminov and Sungjin Lee},
journal= {arXiv preprint arXiv:1811.12148},
year = {2018}
}
备注
NeurIPS 2018 workshop on Conversational AI