基于人类和LLM的语音助手交互：面向用户口头及非口头行为的分析框架
人机交互
2024-09-04 v2
摘要
近年来，大型语言模型（LLM）技术的快速发展显著提升了人类与语音助手（VA）之间的交互体验。本项目旨在探索用户在与基于LLM的语音助手（LLM-VA）完成复杂任务时的持续交互方式。我们招募了12名参与者，在烹饪任务中与LLM-VA进行交互，该任务因其复杂性和持续交互的需求而被选为研究对象。我们观察到用户表现出口头和非口头行为，尽管他们知道LLM-VA无法捕获这些非口头信号。尽管非口头行为在人类-人类交互中占据主导地位，但在人类-VA交互中尚无成熟的分析方法或框架。经过对3小时39分钟视频记录的分析，我们开发了一个包含三个维度的分析框架：1）行为特征，包括口头和非口头行为；2）交互阶段——探索、冲突和集成——阐明用户交互的进程；3）各阶段之间的转换。该分析框架识别出关键的口头和非口头行为，为未来研究和实际应用提供了基础，以优化人类与LLM-VA之间的交互。
引用
@article{arxiv.2408.16465,
title = {Human and LLM-Based Voice Assistant Interaction: An Analytical Framework for User Verbal and Nonverbal Behaviors},
author = {Szeyi Chan and Shihan Fu and Jiachen Li and Bingsheng Yao and Smit Desai and Mirjana Prpa and Dakuo Wang},
journal= {arXiv preprint arXiv:2408.16465},
year = {2024}
}