Z-BERT-A：一种用于未知意图检测的零样本流水线
计算与语言
2023-12-11 v3 机器学习
摘要
意图发现是自然语言处理中的一项关键任务，并且与各种工业应用的相关性日益增强。从用户输入中识别新颖、未见过的意图仍是该领域最大的挑战之一。为此，我们提出 Zero-Shot-BERT-Adapters，一种依赖 Transformer 架构、使用 Adapters 微调的双阶段多语言意图发现方法。我们将模型训练用于自然语言推理（NLI），随后在零样本设定下对多种语言执行未知意图分类。在评估中，我们首先分析了模型在已知类上自适应微调后的质量。其次，我们评估了其将意图分类转化为 NLI 任务的性能。最后，我们在未见类上测试了模型的零样本性能，展示了 Zero-Shot-BERT-Adapters 如何通过生成与真实意图语义相似（即便不完全相同）的意图来有效进行意图发现。实验表明，Zero-Shot-BERT-Adapters 在两种零样本设定（已知意图分类与未见意图发现）下均优于多种基线。所提出的流水线在客户关怀中具有广泛应用潜力，它使用轻量模型实现自动化动态分诊，可易于在各种业务场景中部署和扩展，不同于大语言模型（LLM）。Zero-Shot-BERT-Adapters 代表了一种创新的多语言意图发现方法，支持在线生成新意图。实现该流水线及我们所整理的新数据集的 Python 包可在以下链接获取：https://github.com/GT4SD/zero-shot-bert-adapters。
引用
@article{arxiv.2208.07084,
title = {Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection},
author = {Daniele Comi and Dimitrios Christofidellis and Pier Francesco Piazza and Matteo Manica},
journal= {arXiv preprint arXiv:2208.07084},
year = {2023}
}
备注
14 pages, 4 figures, 14 tables, https://github.com/GT4SD/zberta