重连再探测：一种用于探测预训练语言模型生物医学知识的对比方法
计算与语言
2022-05-24 v3
摘要
知识探测对于理解预训练语言模型（PLMs）背后的知识迁移机制至关重要。尽管在通用领域对 PLMs 的知识探测取得了日益增长的进展，但诸如生物医学领域之类的专门领域却极少被探索。为推动该方向的研究，我们发布了一个精心构建的生物医学知识探测基准 MedLAMA，其基于统一医学语言系统（UMLS）Metathesaurus 构建。我们在该基准上测试了多种最先进的 PLMs 和探测方法，最高仅达到 3% 的 acc@10。在指出导致这一不佳表现的各类领域特定挑战的同时，我们表明底层 PLMs 在探测任务上具有更高潜力。为此，我们提出 Contrastive-Probe，一种新颖的自监督对比探测方法，它不使用任何探测数据即可调整底层 PLMs。虽然 Contrastive-Probe 将 acc@10 提升至 28%，但性能差距仍然显著。我们的人类专家评估表明，由于 UMLS 仍未涵盖全部事实知识的范围，我们 Contrastive-Probe 的探测性能仍被低估。我们希望 MedLAMA 和 Contrastive-Probe 能促进该领域更适用的探测技术的进一步发展。
引用
@article{arxiv.2110.08173,
title = {Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge of Pre-trained Language Models},
author = {Zaiqiao Meng and Fangyu Liu and Ehsan Shareghi and Yixuan Su and Charlotte Collins and Nigel Collier},
journal= {arXiv preprint arXiv:2110.08173},
year = {2022}
}
备注
ACL 2022; code and data are released at https://github.com/cambridgeltl/medlama