预训练语言模型少样本知识探测的实证研究
人工智能
2021-09-14 v2
摘要
基于提示的1跳关系知识探测已被用于衡量预训练语言模型中存储了多少世界知识。现有工作使用大量数据来调整提示以获得更好性能。在本工作中，我们在少样本知识探测设定下比较多种方法，其中仅可用少量（如10或20个）示例三元组。此外，我们创建了一个名为TREx-2p的新数据集，其包含2跳关系。我们报告少样本示例可强烈提升1跳和2跳关系的探测性能。特别地，我们发现一种简单而有效的微调模型中偏置向量的方法优于现有的提示工程方法。我们的数据集与代码可在 \url{https://github.com/cloudygoose/fewshot_lama} 获取。
引用
@article{arxiv.2109.02772,
title = {An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models},
author = {Tianxing He and Kyunghyun Cho and James Glass},
journal= {arXiv preprint arXiv:2109.02772},
year = {2021}
}