P-Adapters：使用多样化提示从语言模型中稳健提取事实信息
计算与语言
2022-04-20 v2
摘要
近期工作（如 LAMA (Petroni et al., 2019)）发现，从大型语言模型（LLMs）中提取的事实信息质量取决于用于查询它们的提示。这种不一致性是有问题的，因为不同用户会使用不同的措辞向 LLMs 查询相同的信息，但无论措辞如何，都应得到相同且准确的回答。本文旨在通过引入 P-Adapters 来解决这一缺陷：P-Adapters 是位于 LLMs 嵌入层和第一注意力层之间的轻量级模型。它们以 LLM 嵌入作为输入，并输出用于查询 LLM 的连续提示。此外，我们研究了混合专家（MoE）模型，该模型学习一组连续提示（“专家”）并选择一个来查询 LLM。它们需要一个在人工标注数据上训练的单独分类器，以将自然语言提示映射到连续提示。在从 BERT 和 RoBERTa 提取事实信息方面，P-Adapters 的性能与更复杂的 MoE 模型相当，同时消除了对额外标注的需求。与仅使用自然语言查询的基线相比，P-Adapters 在精确率上显示出 12-26% 的绝对改进，在一致性上显示出 36-50% 的绝对改进。最后，我们探究了 P-Adapters 成功的原因，并得出结论：一个重要因素是能够访问 LLM 对原始自然语言提示的嵌入，特别是被查询实体对中的主体部分。
引用
@article{arxiv.2110.07280,
title = {P-Adapters: Robustly Extracting Factual Information from Language Models with Diverse Prompts},
author = {Benjamin Newman and Prafulla Kumar Choubey and Nazneen Rajani},
journal= {arXiv preprint arXiv:2110.07280},
year = {2022}
}
备注
15 pages, 6 figures, 4 tables