关于将 GPT-3 上下文学习用于生物医学信息抽取？再想想
计算与语言
2022-11-08 v3 信息检索
摘要
GPT-3 等大型预训练语言模型（PLMs）强大的少样本上下文学习能力，对于生物医学等应用领域极具吸引力；这些领域对语言技术有着高且多样的需求，但同时数据标注成本也很高。在本文中，我们首次开展系统且全面的研究，在两个极具代表性的生物医学信息抽取任务——命名实体识别和关系抽取上，比较 GPT-3 上下文学习的少样本性能与微调较小（即 BERT 规模的）PLMs 的性能。我们遵循真实的少样本设定，以避免通过在大型验证集上选择模型而高估模型的少样本性能。我们还使用上下文校准和动态上下文示例检索等已知技术来优化 GPT-3 的性能。然而，我们的结果表明，与简单地微调较小的 PLM 相比，GPT-3 仍然显著表现不佳。此外，当可用训练数据增多时，GPT-3 上下文学习在准确率上的提升也更小。我们的深入分析进一步揭示了上下文学习设定中可能对信息抽取任务普遍有害的问题。鉴于使用 GPT-3 实验的高成本，我们希望我们的研究能为生物医学研究者和从业者指明更有前景的方向，例如微调小型 PLMs。
引用
@article{arxiv.2203.08410,
title = {Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again},
author = {Bernal Jiménez Gutiérrez and Nikolas McNeal and Clay Washington and You Chen and Lang Li and Huan Sun and Yu Su},
journal= {arXiv preprint arXiv:2203.08410},
year = {2022}
}
备注
EMNLP-Findings 2022