利用对比学习改进 BERT 模型用于生物医学关系抽取
计算与语言
2021-04-29 v1
摘要
对比学习已在计算机视觉中用于学习图像的高质量表示。然而，由于缺少文本数据通用的数据增强方法，对比学习在自然语言处理中并未被广泛使用。在本工作中，我们探索采用对比学习来改进 BERT 模型用于关系抽取的文本表示的方法。我们框架的关键环节是一个独特的对比预训练步骤，它通过将数据增强无缝整合语言学知识，专为关系抽取任务定制。此外，我们研究了由外部知识库构建的大规模数据如何增强 BERT 对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明，我们的方法能够改进 BERT 模型表示并取得最先进的性能。另外，我们通过展示具有对比预训练的 BERT 在预测时更依赖于合理依据，探究了模型的可解释性。我们的代码和数据公开于：https://github.com/udel-biotm-lab/BERT-CLRE。
引用
@article{arxiv.2104.13913,
title = {Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction},
author = {Peng Su and Yifan Peng and K. Vijay-Shanker},
journal= {arXiv preprint arXiv:2104.13913},
year = {2021}
}
备注
Accepted by BioNLP 2021