面向多模态对话系统用户体验的参与度与信任度量表开发与验证
计算与语言
2025-05-26 v1 人工智能
摘要
本研究旨在开发和验证两个用于评估多模态对话系统用户体验质量的参与度和信任度量表，具体针对外语学习情境中的外语学习者。该量表基于教育心理学、社会心理学和第二语言习得理论进行设计。74名日本英语学习者完成了与训练有素的人类导师及对话代理人进行的角色扮演和讨论任务。每个对话任务完成后，受试者回答了参与度和信任度量表。通过查尔顿α系数分析和一系列确认性因子分析来检验量表的结构效度和项目的可靠性。随后，我们比较了与人类导师和对话代理人之间的信任度和参与度得分。结果表明，本量表成功地从多个角度捕捉了人类语言伙伴与对话代理人之间对话体验质量差异。
引用
@article{arxiv.2505.17075,
title = {Development and Validation of Engagement and Rapport Scales for Evaluating User Experience in Multimodal Dialogue Systems},
author = {Fuma Kurata and Mao Saeki and Masaki Eguchi and Shungo Suzuki and Hiroaki Takatsu and Yoichi Matsuyama},
journal= {arXiv preprint arXiv:2505.17075},
year = {2025}
}