仅使用领域内句子进行对话系统域外句子检测的神经句子嵌入方法
计算与语言
2018-08-01 v1 人工智能
摘要
为确保满意的用户体验，对话系统必须能够判断输入句子是领域内（ID）还是领域外（OOD）。我们假设仅可获得ID句子作为训练数据，因为以无偏方式收集足够多的OOD句子是一项费力且耗时的工作。本文提出一种新颖的神经句子嵌入方法，将句子表示于低维连续向量空间中，该空间突出区分ID与OOD案例的方面。我们首先使用大规模无标注文本预训练词表示，用于初始化神经句子嵌入。然后我们使用领域类别分析作为辅助任务来训练用于OOD句子检测的神经句子嵌入。在句子表示学习完成后，我们使用它们训练一个旨在进行OOD句子检测的自编码器。我们通过在八领域对话系统中与最先进方法进行实验比较来评估我们的方法；所提方法在所有测试中均取得了最高准确率。
引用
@article{arxiv.1807.11567,
title = {Neural Sentence Embedding using Only In-domain Sentences for Out-of-domain Sentence Detection in Dialog Systems},
author = {Seonghan Ryu and Seokhwan Kim and Junhwi Choi and Hwanjo Yu and Gary Geunbae Lee},
journal= {arXiv preprint arXiv:1807.11567},
year = {2018}
}
备注
Published in Pattern Recognition Letters, 88:26-32, 2017