一种面向意图分类与超出范围检测任务的句子变换器微调新方法
计算与语言
2024-10-22 v2 人工智能
摘要
在虚拟助理（VA）系统中，及时拒绝或重定向超出系统范围的用户查询至关重要。最准确的超出范围（OOS）拒绝方法之一是将其与意图分类任务结合使用，利用基于变换器句子编码器生成的嵌入相似性的方法。通常，这些编码器是使用交叉熵损失针对意图分类任务进行微调的。最近的研究表明，虽然这种方法会产生适合意图分类任务的嵌入，但也会倾向于将范围内嵌入在整个句子嵌入空间中分布开来。这会导致范围内嵌入可能与 OOS 嵌入重叠，从而使 OOS 拒绝变得困难。当 OOS 数据未知时，这一问题更为突出。为缓解此问题，我们的工作提出使用自编码器学习的范围内嵌入重构损失对交叉熵损失进行正则化。我们的方法在不损害意图分类性能的前提下，实现了 1-4% 的平均值下精度-召回曲线下面积（AUC）提高，以拒绝超出样本（OOS）实例。
引用
@article{arxiv.2410.13649,
title = {A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks},
author = {Tianyi Zhang and Atta Norouzian and Aanchan Mohan and Frederick Ducatelle},
journal= {arXiv preprint arXiv:2410.13649},
year = {2024}
}
备注
Appearing at Empirical Methods in Natural Language Processing 2024 - Industry Track