预训练Transformer在意图分类中是否鲁棒？域内超出范围意图检测评估中缺失的一环
计算与语言
2022-04-08 v3 人工智能
摘要
据报告，预训练的基于Transformer的模型在意图分类中表现鲁棒。本工作中，我们首先指出在少样本意图识别任务中域内超出范围（out-of-scope）检测的重要性，随后揭示预训练的基于Transformer的模型对域内但超出范围（ID-OOS）样本存在脆弱性。我们构建了两个新数据集，并经验性地表明预训练模型在ID-OOS样本与通用超出范围样本上均表现不佳，尤其在细粒度少样本意图检测任务中。为弄清模型如何将ID-OOS意图误分类为范围内意图，我们进一步对置信度分数与重叠关键词进行分析，并指出未来工作的若干可能方向。相关资源发布于 https://github.com/jianguoz/Few-Shot-Intent-Detection。
引用
@article{arxiv.2106.04564,
title = {Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection},
author = {Jianguo Zhang and Kazuma Hashimoto and Yao Wan and Zhiwei Liu and Ye Liu and Caiming Xiong and Philip S. Yu},
journal= {arXiv preprint arXiv:2106.04564},
year = {2022}
}
备注
ACL 2022 Workshop on NLP for Conversational AI