比较基于模板和无模板的语言模型探测
计算与语言
2024-10-31 v2 机器学习
摘要
使用1）专家制作的模板和2）自然出现的文本进行完形填空式语言模型（LM）探测之间的差异常常被忽视。在这里，我们评估了16种不同的LM在10个探测性英文数据集上——4个基于模板和6个无模板——涵盖通用和生物医学领域，以回答以下研究问题：（RQ1）两种方法下的模型排名是否不同？（RQ2）两种方法下模型的绝对分数是否不同？（RQ3）RQ1和RQ2的答案在通用模型和领域特定模型之间是否不同？我们的发现是：1）无模板和基于模板的方法通常对模型进行不同的排名，除了顶级的领域特定模型。2）在比较平行的无模板和基于模板的提示时，分数下降高达42%的Acc@1。3）困惑度与无模板方法的准确率呈负相关，但反直觉的是，它们与基于模板的探测呈正相关。4）在基于模板的探测中，模型倾向于跨提示频繁预测相同的答案，而在使用无模板技术时，这种情况较少见。
引用
@article{arxiv.2402.00123,
title = {Comparing Template-based and Template-free Language Model Probing},
author = {Sagi Shaier and Kevin Bennett and Lawrence E Hunter and Katharina von der Wense},
journal= {arXiv preprint arXiv:2402.00123},
year = {2024}
}
备注
Accepted to EACL 2024