多领域对话中轮次与对话级用户满意度联合估计
计算与语言
2020-10-12 v2 人工智能
机器学习
摘要
对话级质量估计对于优化数据驱动的对话管理至关重要。当前估计轮次和对话级用户满意度的自动化方法采用手工特征并依赖复杂标注方案，降低了训练模型的泛化能力。我们提出了一种新颖的用户满意度估计方法，其通过最小化自适应多任务损失函数来联合预测专家提供的轮次级响应质量标签和终端用户提供的显式对话级评分。所提出的基于BiLSTM的深度神经网络模型自动权衡每轮对估计对话级评分的贡献，隐式编码时间依赖关系，并免除了手工特征的需求。在来自28个Alexa领域、两种对话系统和三组用户群的对话上，联合对话级满意度估计模型相较基线深度神经网络和基准梯度提升回归模型，在线性和相关性性能上分别取得了最高27%（0.43->0.70）和7%（0.63->0.70）的绝对提升。
引用
@article{arxiv.2010.02495,
title = {Joint Turn and Dialogue level User Satisfaction Estimation on Multi-Domain Conversations},
author = {Praveen Kumar Bodigutla and Aditya Tiwari and Josep Valls Vargas and Lazaros Polymenakos and Spyros Matsoukas},
journal= {arXiv preprint arXiv:2010.02495},
year = {2020}
}
备注
Findings of EMNLP, 2020