基于提示的生物医学知识探测中预训练语言模型的上下文方差评估

预训练语言模型（PLMs）引发了关于这些模型学习了何种知识的研究。填空问题（如 cloze 测试）是评估此类知识的自然方法。BioLAMA 为生物医学事实知识三元组生成提示，并使用 Top-k 准确率度量来评估不同 PLM 的知识。然而，已有研究表明此类基于提示的知识探测方法只能探测知识的下界。诸多因素（如基于提示的探测偏差）使得 LAMA 基准不可靠且不稳定。该问题在 BioLAMA 中更为突出。词汇表中严重的长尾分布以及大-N-M 关系使得 LAMA 与 BioLAMA 之间的性能差距依然显著。为此，我们将上下文方差引入提示生成，并提出一种基于排序变化的全新评估度量。不同于先前已知的已知-未知评估准则，我们首次在 LAMA 中提出“误解（Misunderstand）”的概念。通过在 12 个 PLM 上的实验，我们的上下文方差提示与理解-混淆-误解（UCM）度量使 BioLAMA 对大-N-M 关系与稀有关系更为友好。我们还进行了一组控制实验，以将“理解”与单纯的“读取并复制”分离开来。