如何查询语言模型？
计算与语言
2021-08-05 v1 信息检索
机器学习
摘要
大型预训练语言模型（LMs）不仅能够恢复语言知识，还能恢复事实和常识知识。为了访问基于掩码的语言模型中存储的知识，我们可以使用完形填空式问题并让模型填空。相对于结构化知识库，其灵活性优势伴随着为特定信息需求找到正确查询的缺点。受人类消除问题歧义行为的启发，我们提出通过示例查询语言模型。为了澄清模棱两可的问题“Neuer为谁效力？”，一个成功的策略是使用另一个主体来展示该关系，例如“Ronaldo为葡萄牙效力。Neuer为谁效力？”。我们将这种通过示例查询的方法应用于LAMA探针，在仅提供10个示例的情况下，BERT-large在T-REx数据上获得了高达37.8%的显著提升——甚至优于使用多达40个问题时改写来查询模型的基线。这些示例通过模型的上下文提供，因此既不需要微调，也不需要额外的前向传播。这表明，如果我们以正确的方式查询模型，语言模型包含比先前假设更多的事实和常识知识。
引用
@article{arxiv.2108.01928,
title = {How to Query Language Models?},
author = {Leonard Adolphs and Shehzaad Dhuliawala and Thomas Hofmann},
journal= {arXiv preprint arXiv:2108.01928},
year = {2021}
}