通过合成生成间接用户请求使任务导向对话数据集更自然
计算与语言
2024-06-18 v2 人工智能
摘要
间接用户请求（IUR），例如用“室内很冷”代替“请调高温度”，在人类间任务导向对话中屡见不鲜，需听者具备世界知识与语境推理能力。虽然大型语言模型（LLM）能有效处理此类请求，但资源受限的小模型常常捕捉不足。此外，现有任务导向对话基准数据集缺乏足够的复杂语篇现象如间接性的示例。为此，我们提出一套语言学准则，并构建基于 LLM 的管道生成逼真的 IUR，以测试自然语言理解（NLU）与对话状态跟踪（DST）模型在新领域部署前的性能。我们亦基于 Schema Guided Dialog（SGD）语料库发布 IndirectRequests 数据集，作为评估小模型处理间接请求的对比基准。
引用
@article{arxiv.2406.07794,
title = {Making Task-Oriented Dialogue Datasets More Natural by Synthetically Generating Indirect User Requests},
author = {Amogh Mannekote and Jinseok Nam and Ziming Li and Jian Gao and Kristy Elizabeth Boyer and Bonnie J. Dorr},
journal= {arXiv preprint arXiv:2406.07794},
year = {2024}
}