基于预训练深度神经网络分类器的对话系统未知意图检测后处理方法
计算与语言
2020-03-26 v1 机器学习
摘要
随着对话系统的成熟与普及，检测对话系统中用户的未知意图已成为一项重要任务。由于几乎无法获取未知意图的样例、先验知识或确切数量，它也是最具挑战性的任务之一。本文中，我们提出 SofterMax 与深度新颖性检测（SMDN），一种基于预训练深度神经网络分类器、用于检测对话系统未知意图的简单而有效的后处理方法。我们的方法可灵活应用于任何以深度神经网络训练的 classifier 之上，无需改变模型架构。我们对 softmax 输出的置信度进行校准以计算校准置信度分数（即 SofterMax），并用其计算未知意图检测的判定边界。此外，我们将深度神经网络学到的特征表示输入传统新颖性检测算法，从不同角度检测未知意图。最后，我们结合上述方法执行联合预测。我们的方法将与已知意图不同的样例分类为未知，且不需要任何未知意图的样例或先验知识。我们在三个基准对话数据集上进行了大量实验。结果表明，与 SOTA 基线相比，我们的方法能带来显著提升。
引用
@article{arxiv.2003.03504,
title = {A Post-processing Method for Detecting Unknown Intent of Dialogue System via Pre-trained Deep Neural Network Classifier},
author = {Ting-En Lin and Hua Xu},
journal= {arXiv preprint arXiv:2003.03504},
year = {2020}
}
备注
Published in Knowledge-Based Systems 2019