AR中嵌入式语音驱动的即时引用的增强对话
人机交互
2024-05-30 v1 机器学习
摘要
本文引入了增强对话概念，旨在通过AR中嵌入式语音驱动的即时引用来支持面对面的协作式对话。当今的计算技术如智能手机允许在对话期间快速访问各种参考信息。然而，这些工具常常会造成分心，减少eye contact，迫使用户将注意力集中在手机屏幕上并手动输入关键词以获取相关信息。相比之下，AR基于语音识别自动提取关键词，在实时中提供相关视觉参考信息。通过将这些视觉参考信息嵌入AR环境中的对话伙伴周围，增强对话减少了分心和阻力，使用户能够保持eye contact，支持更自然的社交互动。为演示这一概念，我们开发了\system，一个基于Hololens的界面，利用实时语音识别、自然语言处理和注视基于交互进行即时嵌入式视觉引用。在本文中，我们探索了视觉引用的对话设计空间，描述了我们的实现——基于通过用户中心设计过程识别的七项设计指南。一项初始用户研究确认，我们的系统在与智能手机搜索相比，显著降低了对话中的分心和阻力，同时提供了高度有用且相关的信息。
关键词
引用
@article{arxiv.2405.18537,
title = {Augmented Conversation with Embedded Speech-Driven On-the-Fly Referencing in AR},
author = {Shivesh Jadon and Mehrad Faridan and Edward Mah and Rajan Vaish and Wesley Willett and Ryo Suzuki},
journal= {arXiv preprint arXiv:2405.18537},
year = {2024}
}