Voicify你的界面：面向基于语音指令的Android应用控制
人机交互
2023-05-10 v1
摘要
如今，语音助手通过语音指令帮助用户完成智能手机上的任务，在传统触屏交互受限时替代之。然而，由于难以理解人类指令中丰富的语言变体，以及效率与可理解性问题，这些工具的可用性仍然有限。为此，我们引入Voicify，一款Android虚拟助手，允许用户通过语音指令与移动应用中的屏幕元素交互。利用一种新颖的深度学习指令解析器，Voicify解释人类语音输入并与UI元素进行匹配。此外，该工具可通过获取应用代码信息以探索应用内组件集合，从而直接从已安装应用中打开特定功能。我们的指令解析器在人类指令数据集上达到了90\%准确率。进一步地，与Google Assistant相比，直接功能调用模块实现了更好的功能覆盖。用户研究证明了Voicify在真实场景中的实用性。
引用
@article{arxiv.2305.05198,
title = {Voicify Your UI: Towards Android App Control with Voice Commands},
author = {Minh Duc Vu and Han Wang and Zhuang Li and Gholamreza Haffari and Zhenchang Xing and Chunyang Chen},
journal= {arXiv preprint arXiv:2305.05198},
year = {2023}
}