面向VPA应用的基于模型增强的LLM驱动VUI测试

围绕语音个人助理(VPA)，如Amazon Alexa等生态系统的蓬勃发展，导致VPA应用的蓬勃发展。最大的应用市场Amazon skills store例如主办了超过20万个应用。尽管这些应用相当受欢迎，开放的应用发布方式和应用的易获取性也引发了关于安全、隐私和质量的重大关注。因此，已提出各种测试方法来系统性地检查VPA应用行为。为了解决VPA应用内本构可见用户界面缺失的问题，测试期间采用了两种策略，即聊天机器人式测试和基于模型的测试。前者常缺乏有效的指导来扩大其搜索空间，而后者在解释对话语义以构建精确且全面的应用行为模型方面不足。本文引入了Elevate，一个基于模型增强的大型语言模型(LLM)驱动的VUI测试框架。Elevate利用LLM在自然语言处理方面的强大能力来弥补基于模型的VUI测试期间语义信息损失。它通过提示LLM从VPA应用的输出中提取状态并生成与之相关的输入来工作。在与应用的自动交互期间，它逐步构建行为模型，从而促进LLM生成可能发现新状态的输入。Elevate通过编码行为模型到提示并基于上下文相关性选择LLM生成的输入等创新技术，桥接了LLM与行为模型。该框架在4000个真实世界的Alexa技能上进行了基准测试，与最先进的测试器Vitas进行了比较。在所有类型的应用中，Elevate比Vitas实现了15%更高的状态空间覆盖率，效率方面也显著提升。