面向任务导向对话系统的用户挫败感检测
计算与语言
2025-01-13 v2
摘要
检测现代任务导向对话(TOD)系统中的用户挫败感对于维持整体用户满意度、参与度和留存率至关重要。然而，最近的研究主要聚焦于学术环境中的情感和情绪检测，未能充分体现实际用户数据的影响。在弥合这一差距方面，本文聚焦于已部署 TOD 系统中的用户挫败感，评估即插即用解决方案在用户挫败感检测中的可行性。具体而言，我们比较了部署的基于关键词的方法、开源情感分析方法、对话中断检测方法以及新兴的基于大语言模型的检测方法。我们的分析表明，开源方法在实际挫败感检测方面存在局限，同时表明基于大语言模型的方法在 F1 分数上实现了 16% 的相对提升。最后，我们分析了方法的优势与局限，并为行业从业者提供了关于用户挫败感检测任务的见解。
关键词
引用
@article{arxiv.2411.17437,
title = {"Stupid robot, I want to speak to a human!" User Frustration Detection in Task-Oriented Dialog Systems},
author = {Mireia Hernandez Caralt and Ivan Sekulić and Filip Carević and Nghia Khau and Diana Nicoleta Popa and Bruna Guedes and Victor Guimarães and Zeyu Yang and Andre Manso and Meghana Reddy and Paolo Rosso and Roland Mathis},
journal= {arXiv preprint arXiv:2411.17437},
year = {2025}
}