增强虚拟助手智能：面向实例级用户意图超越元数据的精确区域定位
人机交互
2023-06-08 v1 人工智能
计算机视觉与模式识别
摘要
近年来虚拟助手已被手机用户广泛使用。尽管其处理用户意图的能力发展迅速，但大多数平台上的虚拟助手仅能处理由开发者额外人工支持预定义的高层任务。然而，包含更详细目标与复杂实际情形的实例级用户意图，迄今鲜有研究。本文探索了基于应用屏幕像素处理实例级用户意图的虚拟助手，无需应用端额外扩展。我们提出一种新颖的跨模态深度学习流水线，其理解输入的语音或文本实例级用户意图，预测目标操作区域，并在无任何应用元数据的屏幕上检测绝对按钮区域。我们开展了有 10 名参与者的用户研究以收集含实例级用户意图的测试数据集。该测试数据集随后用于评估我们模型的性能，结果表明我们的模型颇具前景，在测试数据集上取得了 64.43% 的准确率。
引用
@article{arxiv.2306.04163,
title = {Enhancing Virtual Assistant Intelligence: Precise Area Targeting for Instance-level User Intents beyond Metadata},
author = {Mengyu Chen and Zhenchang Xing and Jieshan Chen and Chunyang Chen and Qinghua Lu},
journal= {arXiv preprint arXiv:2306.04163},
year = {2023}
}