面向任务型对话的基于模式引导的用户满意度建模
计算与语言
2023-05-29 v1 人工智能
摘要
用户满意度建模（USM）是任务型对话系统评估的常用选择之一，其中用户满意度通常取决于系统是否达成了用户的任务目标。任务型对话系统使用任务模式（即一组任务属性）来编码用户的任务目标。现有 USM 研究忽视了利用任务模式显式建模用户任务目标的达成情况。本文提出 SG-USM，一种新颖的基于模式引导的用户满意度建模框架。它显式建模系统对用户关于任务属性的偏好之满足程度，以预测用户满意度水平。SG-USM 采用预训练语言模型编码对话上下文与任务属性；进一步，它采用达成表示层学习对话中有多少任务属性已被达成，以及重要性预测组件计算任务属性的重要性；最后基于任务属性达成与任务属性重要性预测用户满意度。在基准数据集（即 MWOZ、SGD、ReDial 与 JDDC）上的实验结果表明，SG-USM 持续优于具有竞争力的现有方法。我们的广泛分析表明，SG-USM 可提升用户满意度建模的可解释性，具有良好的可扩展性（可有效处理未见任务），并可通过利用无标注数据在低资源设置下有效工作。
引用
@article{arxiv.2305.16798,
title = {Schema-Guided User Satisfaction Modeling for Task-Oriented Dialogues},
author = {Yue Feng and Yunlong Jiao and Animesh Prasad and Nikolaos Aletras and Emine Yilmaz and Gabriella Kazai},
journal= {arXiv preprint arXiv:2305.16798},
year = {2023}
}