在自然语言常设指令语境下解读用户请求

自然语言界面的用户通常由大语言模型（LLMs）驱动，他们往往必须在每次提出类似请求时重复其偏好。我们描述了一种基于 LLM 的对话建模方法，其中将持久的用户约束与偏好——统称为常设指令（standing instructions）——作为此类界面的额外上下文。例如，当用户说“我饿了”时，先前表达的对波斯食物的偏好可自动添加到 LLM 提示中，从而影响相关餐厅的搜索。我们开发了 NLSI，一个由超过 2.4K 对话组成、跨越 17 个领域的语言到程序数据集，每个对话都配有一个用户档案（一组用户特定的常设指令）及相应的结构化表示（API 调用）。NLSI 中的一个关键挑战是识别常设指令的哪个子集适用于给定对话。NLSI 包含多样现象，从简单偏好到相互依赖的指令，例如每当用户为某活动订票时触发酒店搜索。我们使用大语言模型提示及各种检索方法在 NLSI 上开展实验，在 API 预测上取得了最高 44.7% 的精确匹配率。我们的结果展示了识别相关常设指令并将其解释为 API 调用所面临的挑战。