哪些因素预测自然语言生成对话服务的聊天体验?
计算与语言
2023-05-30 v2 人机交互
摘要
本文中,我们提出一个概念模型以预测自然语言生成对话系统中的聊天体验。我们使用偏最小二乘结构方程建模(PLS-SEM)对120名参与者评估该模型,获得0.541的决定系数(R2)。该模型考量多种因素,包括用于生成的提示;对话中的连贯性、情感与相似性;以及用户感知的对话智能体好感度。我们进一步探究所提模型子集的有效性。结果表明,用户好感度及对话中的连贯性、情感与相似性为用户聊天体验的正向预测因子。此外,我们发现用户可能偏好具有外向性、开放性、尽责性、宜人性与非神经质特征的对话智能体。通过本研究,自适应对话系统或可利用所收集数据推断模型中的因素,借由这些因素预测用户聊天体验,并通过调整提示予以优化。
引用
@article{arxiv.2304.10785,
title = {Which Factors Predict the Chat Experience of a Natural Language Generation Dialogue Service?},
author = {Eason Chen},
journal= {arXiv preprint arXiv:2304.10785},
year = {2023}
}
备注
CHI EA'23, April 23-28, 2023, Hamburg, Germany