HandProxy：通过虚拟代理手扩展沉浸式环境中语音界面的交互能力

手部交互正日益成为沉浸式环境中的主要输入模态，但由于情境障碍、运动限制和环境约束，它们并非总是可行。语音界面已在研究和商业解决方案中被探索为手部输入的替代方案，但仅限于启动基本的手部手势和系统控制。我们介绍了 HandProxy，一个扩展语音界面交互能力以支持表达性手部交互的系统。HandProxy 不依赖将预定义语音命令直接映射到可能交互的方式，而是使用户能够通过虚拟手作为交互代理来控制其运动，允许用户自然地描述预期交互，而系统将语音实时翻译为手部控制序列。一项针对 20 名参与者的用户研究表明，HandProxy 有效实现了虚拟环境中的多样化手部交互，以每次语音命令平均 1.09 次尝试达到 100% 任务完成率，命令执行准确率为 91.8%，同时支持灵活、自然的语音输入，具有不同的控制与粒度级别。