面向话语到API语义解析的上下文学习中约束违背的度量与缓解
人工智能
2023-05-25 v1 计算与语言
摘要
在可执行任务型语义解析中，系统旨在将用户的自然语言话语翻译为可根据预定义API规范执行的机器可解释程序（API调用）。随着大语言模型（LLMs）的流行，上下文学习为此类场景提供了强大的基线，尤其在数据有限的条件下。然而，已知LLMs会产生幻觉，因此在约束生成内容方面构成了巨大挑战。因此，在尊重API的结构性与任务特定约束至关重要的任务型话语到API生成中，LLMs能否有效执行仍不确定。本工作中，我们致力于度量、分析并缓解此类约束违背。首先，我们识别了从任务型话语获取API语义时各类约束的类别，并定义了补充传统指标的细粒度度量。其次，我们利用这些度量对最先进LLMs中出现的约束违背进行详细的错误分析，这促使我们研究两种缓解策略：示例的语义检索（SRD）与API感知约束解码（API-CD）。我们的实验表明，这些策略能有效减少约束违背并提升所生成API调用的质量，但鉴于其实现复杂性与延迟，需谨慎考量。
引用
@article{arxiv.2305.15338,
title = {Measuring and Mitigating Constraint Violations of In-Context Learning for Utterance-to-API Semantic Parsing},
author = {Shufan Wang and Sebastien Jean and Sailik Sengupta and James Gung and Nikolaos Pappas and Yi Zhang},
journal= {arXiv preprint arXiv:2305.15338},
year = {2023}
}