预训练语言模型中事实知识的校准
计算与语言
2022-10-19 v2
摘要
已有文献证明预训练语言模型（PLMs）能够存储事实知识。然而，我们发现存储在 PLM 中的事实并非总是正确的。这促使我们探索一个基本问题：如何在不从头重新训练的情况下校准 PLM 中的事实知识？在本工作中，我们提出一种简单轻量的方法 CaliNet 来实现这一目标。具体而言，我们首先通过正确事实与虚假事实之间的对比分数来检测 PLM 是否能学到正确的事实。如果不能，我们再使用一种轻量方法为特定的事实文本添加并适配新参数。在知识探测任务上的实验显示了校准的有效性与效率。此外，通过闭卷问答，我们发现校准后的 PLM 在微调后具备知识泛化能力。除校准性能外，我们进一步研究并可视化了知识校准机制。
引用
@article{arxiv.2210.03329,
title = {Calibrating Factual Knowledge in Pretrained Language Models},
author = {Qingxiu Dong and Damai Dai and Yifan Song and Jingjing Xu and Zhifang Sui and Lei Li},
journal= {arXiv preprint arXiv:2210.03329},
year = {2022}
}
备注
Accepted by Findings of EMNLP 2022