基于自然语言推理迁移的判别式最近邻少样本意图检测
计算与语言
2020-10-27 v1 人工智能
摘要
意图检测是面向目标对话系统的核心组件之一，而检测超出范围(OOS)意图也是一项具实际重要性的技能。少样本学习因缓解数据稀缺而备受关注，但OOS检测变得更具挑战。本文提出一种简洁而有效的方法：基于深度自注意力的判别式最近邻分类。不同于softmax分类器，我们利用BERT风格成对编码训练一个二分类器，用以估计与用户输入最匹配的训练样本。我们提出通过迁移自然语言推理(NLI)模型来增强判别能力。在大规模多域意图检测任务上的大量实验表明，相较基于RoBERTa的分类器与基于嵌入的最近邻方法，我们的方法取得了更稳健且准确的域内与OOS检测准确率。更值得注意的是，NLI迁移使我们的10-shot模型能与50-shot甚至全量样本分类器竞争，同时借助更快的嵌入检索模型可保持推理时间恒定。
引用
@article{arxiv.2010.13009,
title = {Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference},
author = {Jian-Guo Zhang and Kazuma Hashimoto and Wenhao Liu and Chien-Sheng Wu and Yao Wan and Philip S. Yu and Richard Socher and Caiming Xiong},
journal= {arXiv preprint arXiv:2010.13009},
year = {2020}
}
备注
19 pages, accepted by EMNLP 2020 main conference as a long paper. Code will be available at https://github.com/salesforce/DNNC-few-shot-intent