基于不确定性驱动的对话系统中高效的超范围检测
计算与语言
2025-07-03 v1
摘要
超范围（Out-of-scope, OOS）意图检测是任务导向对话系统（Task-Oriented Dialogue Systems, TODS）中的关键挑战，因为它确保了对未见和模糊查询的鲁棒性。在本工作中，我们提出了一种新颖但简单的模块化框架，将不确定性建模与微调的大语言模型（Large Language Model, LLM）结合用于高效和准确的OOS检测。第一步应用不确定性估计于当前部署于真实世界TODS（每日处理数万条用户交互）的超范围意图检测分类器的输出。第二步则利用新兴的LLM方法，触发一个微调后的LLM对高不确定性实例作出最终决定。与先前方法不同，我们的方法有效地平衡了计算效率和性能，将传统方法与LLM结合，在包括来自部署TODS的真实世界OOS数据在内的关键OOS检测基准测试中实现了最先进的成果。
引用
@article{arxiv.2507.01541,
title = {Efficient Out-of-Scope Detection in Dialogue Systems via Uncertainty-Driven LLM Routing},
author = {Álvaro Zaera and Diana Nicoleta Popa and Ivan Sekulic and Paolo Rosso},
journal= {arXiv preprint arXiv:2507.01541},
year = {2025}
}