从预训练语言模型中唤醒潜在对齐能力用于语义解析
计算与语言
2021-09-23 v1 人工智能
摘要
近年来，预训练语言模型（PLMs）在多个下游任务上取得成功，展现出其在语言建模上的能力。为了更好地理解和利用 PLMs 已学到的知识，若干技术应运而生以探索 PLMs 蕴含的句法结构。然而，鲜有研究致力于探索同样关键的 PLMs 的对齐能力。本文中，我们强调了 PLMs 能够发现哪个词元应被对齐到哪个概念的能力，若结合我们提出的擦除而后唤醒方法。在四个数据集上的实证研究表明，我们的方法能够唤醒人类专家可理解的潜在对齐能力，即便训练时未暴露于此类标签。更重要的是，我们的方法展现出惠及下游语义解析模型的巨大潜力。以文本到 SQL 为例，我们成功将方法与两个现成解析器耦合，获得了高达 9.8% 的绝对提升。
引用
@article{arxiv.2109.10540,
title = {Awakening Latent Grounding from Pretrained Language Models for Semantic Parsing},
author = {Qian Liu and Dejian Yang and Jiahui Zhang and Jiaqi Guo and Bin Zhou and Jian-Guang Lou},
journal= {arXiv preprint arXiv:2109.10540},
year = {2021}
}
备注
Accepted by ACL 2021 Findings. The first three authors contributed equally