GPTVoiceTasker：通过动态界面探索与学习提升多步移动任务效率
人机交互
2024-08-15 v3
摘要
虚拟助手在帮助用户完成不同任务方面具有发挥重要作用的潜力。然而，这些系统在实际可用性方面面临挑战，表现为效率低下和难以把握用户意图。利用大型语言模型（LLM）的最新进展，我们推出了 GptVoiceTasker，这是一个旨在增强移动设备上用户体验和任务效率的虚拟助手。GptVoiceTasker 擅长智能解读用户命令并执行相关的设备交互，以简化任务完成过程。该系统持续从历史用户命令中学习，以自动化后续使用，进一步提高执行效率。我们的实验证实了 GptVoiceTasker 卓越的命令解释能力及其任务自动化模块的精确性。在我们的用户研究中，GptVoiceTasker 将现实场景中的任务效率提升了 34.85%，并获得了参与者的积极反馈。我们已将 GptVoiceTasker 开源，邀请进一步研究如何通过提示工程和利用用户使用数据来提高效率，从而将 LLM 用于多样化任务。
引用
@article{arxiv.2401.14268,
title = {GPTVoiceTasker: Advancing Multi-step Mobile Task Efficiency Through Dynamic Interface Exploration and Learning},
author = {Minh Duc Vu and Han Wang and Zhuang Li and Jieshan Chen and Shengdong Zhao and Zhenchang Xing and Chunyang Chen},
journal= {arXiv preprint arXiv:2401.14268},
year = {2024}
}
备注
This paper has been accepted by UIST 2024