探索基于NLP的对话指示器在预测与大型语言模型系统交互的用户体验中的作用
人机交互
2024-09-27 v1
摘要
大型语言模型用于对话系统的应用日益增长，带来了一个新挑战：如何评估用户在这些系统中的聊天体验？利用基于自然语言处理(NLP)的对话分析器创建诸如连贯性和情感等对话指示器，具有潜在的预测聊天体验的可能性。在本文中，我们提出了一个概念模型来解释对话指示器与各种与聊天体验相关因素(包括用户意图、对对话代理人的亲和力以及代理人角色提示)之间的关系。我们使用PLS-SEM对概念模型进行了评估，样本为120名受试者，结果表明模型拟合良好。我们的结果表明，对话指示器可以预测聊天体验，并且完全中介了提示和用户意图的影响。此外，用户对代理人的亲和力可以部分解释这些预测。我们的发现表明，在预测聊天体验方面使用对话指示器具有潜力。通过我们提出的概念模型，研究人员可以将对话分析器应用于生成对话指示器，以持续监控对话过程并改善用户的聊天体验。
引用
@article{arxiv.2409.17204,
title = {Exploring the Roles of NLP-based Dialog Indicators in Predicting User Experience in interacting with Large Language Model System},
author = {Eason Chen},
journal= {arXiv preprint arXiv:2409.17204},
year = {2024}
}
备注
I will revise the rejected paper when I have time. More Authors TBA. arXiv admin note: text overlap with arXiv:2304.10785