将开放域指令落地以自动化网页支持任务
计算与语言
2021-04-06 v2 机器学习
摘要
将网页上的自然语言指令落地以执行此前未见过的任务，可实现无障碍访问与自动化。我们提出一项任务及数据集，用于从最初为人编写的开放域逐步指令中训练 AI 智能体。我们构建了 RUSS（Rapid Universal Support Service，快速通用支持服务）来解决该问题。RUSS 由两个模型组成：首先，一个带指针的 BERT-LSTM 将指令解析为 ThingTalk，这是我们为在网页上落地自然语言而设计的领域特定语言。随后，一个落地模型检索 ThingTalk 中所请求的任何网页元素的唯一 ID。RUSS 可通过对话与用户交互（例如询问地址）或在网页运行时中执行网页操作（例如点击按钮）。为扩充训练数据，我们合成了映射到 ThingTalk 的自然语言指令。我们的数据集包含来自帮助网站的 80 个不同客户服务问题，共计 741 条逐步指令及其对应操作。RUSS 在从单条指令预测智能体操作的端到端任务上取得了 76.7% 的准确率，优于直接在不使用 ThingTalk 的情况下将指令映射到操作的最先进（state-of-the-art, SOTA）模型。我们的用户研究表明，实际用户更偏好 RUSS 而非网页导航。
引用
@article{arxiv.2103.16057,
title = {Grounding Open-Domain Instructions to Automate Web Support Tasks},
author = {Nancy Xu and Sam Masling and Michael Du and Giovanni Campagna and Larry Heck and James Landay and Monica S Lam},
journal= {arXiv preprint arXiv:2103.16057},
year = {2021}
}
备注
To be published in NAACL 2021