GPT 与基于 BERT 的模型在生物医学文本中蛋白质-蛋白质相互作用识别上的评估
计算与语言
2023-12-14 v2 人工智能
摘要
检测蛋白质-蛋白质相互作用（PPIs）对于理解遗传机制、疾病发病机理和药物设计至关重要。然而，随着生物医学文献的快速增长，越来越需要自动且准确地抽取 PPIs 以促进科学知识的发现。生成式预训练 Transformer（GPT）和来自 Transformer 的双向编码器表示（BERT）等预训练语言模型，在自然语言处理（NLP）任务中已展现出有前景的结果。我们使用三个手工标注的金标准语料库评估了多个 GPT 和 BERT 模型在 PPI 识别上的性能：Learning Language in Logic（LLL，77 个句子中含 164 个 PPIs）、Human Protein Reference Database（145 个句子中含 163 个 PPIs）以及 Interaction Extraction Performance Assessment（486 个句子中含 335 个 PPIs）。基于 BERT 的模型取得了最佳的整体性能，其中 BioBERT 取得了最高的召回率（91.95%）和 F1 值（86.84%），PubMedBERT 取得了最高的精确率（85.25%）。有趣的是，尽管未针对生物医学文本进行显式训练，GPT-4 仍取得了值得称道的性能，可与性能最佳的 BERT 模型相媲美。它在 LLL 数据集上取得了 88.37% 的精确率、85.14% 的召回率和 86.49% 的 F1 值。这些结果表明，GPT 模型能够有效从文本数据中检测 PPIs，为在生物医学文献挖掘中的应用提供了有前景的途径。进一步的研究可探索如何对这些模型进行微调，以用于生物医学领域内更专门化的任务。
引用
@article{arxiv.2303.17728,
title = {Evaluation of GPT and BERT-based models on identifying protein-protein interactions in biomedical text},
author = {Hasin Rehana and Nur Bengisu Çam and Mert Basmaci and Jie Zheng and Christianah Jemiyo and Yongqun He and Arzucan Özgür and Junguk Hur},
journal= {arXiv preprint arXiv:2303.17728},
year = {2023}
}