桥接自然用户表达与智能家居中复杂自动化编程之间的鸿沟
人机交互
2024-08-26 v1
摘要
终端用户编程 (EUP) 的一个长期存在的挑战是，在自然用户表达和编程任务的复杂性之间进行权衡。随着大语言模型 (LLMs) 能够处理语义推断和自然语言理解，如何利用这些能力更自然、更容易地帮助终端用户配置复杂自动化仍然鲜有探索。我们提出了 AwareAuto，一个 EUP 系统，通过标准化用户表达并与 LLMs 完成双步骤推理来实现自动化生成。AwareAuto 允许包含情境、多模态和灵活的用户表达，以配置复杂的自动化任务（例如动态参数、多个条件分支和时间约束），这些在传统 EUP 解决方案中难以管理。通过研究真实、复杂的规则数据，AwareAuto 在匹配用户意图和可行性方面达到了 91.7% 的准确率。我们引入了用户交互以确保系统的可控性和可用性。我们讨论了在终端用户编程技术中融合 LLMs 以及在复杂智能家居情境中实现这些技术的机会与挑战。
引用
@article{arxiv.2408.12687,
title = {Bridging the gap between natural user expression with complex automation programming in smart homes},
author = {Yingtian Shi and Xiaoyi Liu and Chun Yu and Tianao Yang and Cheng Gao and Chen Liang and Yuanchun Shi},
journal= {arXiv preprint arXiv:2408.12687},
year = {2024}
}