提示结合复述：教导预训练模型理解罕见生物医学词
计算与语言
2023-04-17 v1
摘要
基于提示（prompt）的预训练模型微调已被证明在通用领域少样本设定下的许多自然语言处理任务中有效。然而，在生物医学领域使用提示进行微调尚未被充分研究。生物医学词在通用领域中往往罕见，但在生物医学语境中十分普遍，这严重恶化了预训练模型在下游生物医学应用上的性能，即使在微调后也是如此，尤其在低资源场景下。我们提出一种简单而有效的方法，帮助模型在提示微调过程中学习罕见生物医学词。实验结果表明，在少样本 vanilla prompt 设定下，我们的方法无需任何额外参数或训练步骤，即可在生物医学自然语言推理任务上取得最高 6% 的提升。
引用
@article{arxiv.2209.06453,
title = {Prompt Combines Paraphrase: Teaching Pre-trained Models to Understand Rare Biomedical Words},
author = {Haochun Wang and Chi Liu and Nuwa Xi and Sendong Zhao and Meizhi Ju and Shiwei Zhang and Ziheng Zhang and Yefeng Zheng and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2209.06453},
year = {2023}
}
备注
Accepted to COLING 2022