利用代码训练语言模型进行少样本语义解析
计算与语言
2022-05-31 v2
摘要
大型语言模型在经上下文示例提示后，能以少量训练数据执行语义解析。已有研究表明，将该问题表述为转写为规范话语的释义可改善此能力，其将底层意义表示投射为受控的类似自然语言的表示。直观上，此类模型更易输出规范话语，因其更贴近预训练所用的自然语言。近来，同样在代码上预训练的模型（如 OpenAI Codex）日益凸显。对于将自然语言映射为代码的语义解析任务，此类模型或更胜任。本文检验该假设，发现 Codex 在此类任务上优于同等的 GPT-3 模型。我们在 Overnight 与 SMCalFlow 上评估，发现不同于 GPT-3，Codex 在直接以意义表示为目标时表现相近，或许因为这些数据集中的意义表示结构与代码相似。
引用
@article{arxiv.2112.08696,
title = {Few-Shot Semantic Parsing with Language Models Trained On Code},
author = {Richard Shin and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2112.08696},
year = {2022}
}
备注
NAACL 2022