揭示多模态交互对用户参与度的影响：AI 驱动对话中的综合评估
计算与语言
2024-06-24 v1 人工智能
摘要
大语言模型（LLM）显著推进了用户与机器人之间的交互，实现了更复杂、更连贯的对话。然而，盛行的纯文本模态可能无法充分发挥有效吸引用户参与的潜力。本文探讨了在聊天机器人对话中，结合图像和音频与文本的多模态交互对用户参与度的影响。我们使用多样化的聊天机器人和真实用户交互数据进行了全面分析，采用留存率和对话长度等指标来评估用户参与度。我们的研究结果表明，与纯文本对话相比，多模态交互显著增强了用户参与度。值得注意的是，引入第三种模态显著放大了参与度，超越了仅使用两种模态所观察到的收益。这些结果表明，多模态交互优化了认知处理，并促进了更丰富的信息理解。本研究强调了聊天机器人设计中多模态的重要性，为创造更具吸引力和沉浸感的 AI 通信体验提供了宝贵见解，并让更广泛的 AI 社区了解多模态交互在增强用户参与度方面的益处。
引用
@article{arxiv.2406.15000,
title = {Unveiling the Impact of Multi-Modal Interactions on User Engagement: A Comprehensive Evaluation in AI-driven Conversations},
author = {Lichao Zhang and Jia Yu and Shuai Zhang and Long Li and Yangyang Zhong and Guanbao Liang and Yuming Yan and Qing Ma and Fangsheng Weng and Fayu Pan and Jing Li and Renjun Xu and Zhenzhong Lan},
journal= {arXiv preprint arXiv:2406.15000},
year = {2024}
}