提示微调在低资源语义解析中的威力
计算与语言
2022-04-04 v2
摘要
提示微调(prompt tuning)近来已成为一种将预训练语言模型适配到若干语言理解与生成任务的有效方法。本文中，我们研究提示微调在语义解析——即将自然语言话语映射到形式意义表示——上的应用。在Overnight和TOPv2的低资源划分上，我们发现提示微调的T5-xl显著优于其微调对应模型，以及强力的GPT-3和BART基线。我们还跨不同模型规模与目标表示进行了消融研究，发现随着模型规模增大，提示微调的T5模型在生成远离预训练分布的目标表示方面有所提升。
引用
@article{arxiv.2110.08525,
title = {The Power of Prompt Tuning for Low-Resource Semantic Parsing},
author = {Nathan Schucher and Siva Reddy and Harm de Vries},
journal= {arXiv preprint arXiv:2110.08525},
year = {2022}
}
备注
ACL 2022 (main conference); updated results