UGIF：UI 接地指令跟随
计算与语言
2023-05-24 v2
摘要
智能手机用户常发现难以在繁杂菜单中导航以完成诸如“如何屏蔽未知号码来电？”等常见任务。当前，为辅助用户，带有分步说明的帮助文档由人工编写。通过将帮助文档中的指令接地至 UI 并在手机 UI 上叠加教程，可进一步增强用户体验。为构建此类教程，需要检索、解析与接地等多个自然语言处理组件，但尚无相关数据集支撑该任务。为此，我们推出 UGIF-DataSet，一个多语言、多模态、UI 接地的智能手机分步任务完成数据集，涵盖 8 种语言的 4,184 项任务。作为该问题的初步解法，我们提出基于用户查询检索相关指令步骤，并利用大语言模型（LLM）解析步骤以生成可在设备端执行的宏。指令步骤通常仅以英文提供，故挑战在于跨模态、跨语言的英文操作指南页检索（从多语言用户查询）以及将英文指令步骤映射至可能不同语言的 UI。我们比较了 PaLM、GPT-3 等不同 LLM 的性能，发现端到端任务完成率在英语 UI 下为 48%，而其他语言降至 32%。我们分析了现有模型在该任务上的常见失败模式并指出改进方向。
引用
@article{arxiv.2211.07615,
title = {UGIF: UI Grounded Instruction Following},
author = {Sagar Gubbi Venkatesh and Partha Talukdar and Srini Narayanan},
journal= {arXiv preprint arXiv:2211.07615},
year = {2023}
}