SQATIN:监督指令微调结合问答以提升对话自然语言理解
计算与语言
2024-04-10 v2
摘要
面向任务的对话(ToD)系统帮助用户跨多个领域(如 或 )执行明确任务,其自然语言理解(NLU)组件专用于分析用户话语,预测用户意图(,ID)并提取信息槽的值(,VE)。在大多数领域中,带标注的 NLU 数据稀缺,使得由有效迁移范式赋能的样本高效学习至关重要。本工作中,我们引入 SQATIN,一种基于(i)指令微调与(ii)将 ID 和 VE 任务表述为问答的对话 NLU 新框架。根据在既定 NLU 基准上的评估,SQATIN 确立了对话 NLU 的新最优水平,在域内训练与跨域迁移中均大幅超越基于标准微调目标的当前模型性能。SQATIN 在跨域迁移中收益尤其显著,原因在于我们的基于 QA 的指令微调利用了跨领域的类别(即槽与意图)自然语言描述间的相似性。
引用
@article{arxiv.2311.09502,
title = {SQATIN: Supervised Instruction Tuning Meets Question Answering for Improved Dialogue NLU},
author = {Evgeniia Razumovskaia and Goran Glavaš and Anna Korhonen and Ivan Vulić},
journal= {arXiv preprint arXiv:2311.09502},
year = {2024}
}
备注
Accepted to NAACL Main 2024