基于 Transformer 架构用于药物不良事件抽取的广泛评估
计算与语言
2023-06-09 v1 人工智能
摘要
不良事件 (ADE) 抽取是数字药物警戒的核心任务之一，尤其应用于非正式文本时。自然语言处理社区已使用 BERT 等大型预训练语言模型来解决该任务。尽管文献中使用了大量基于 Transformer 的架构，但尚不清楚其中哪些性能更优以及原因。因此，在本文中我们对 19 种基于 Transformer 的模型在非正式文本上的 ADE 抽取进行了广泛评估与分析。我们在两个非正式程度递增的数据集（论坛帖子和推文）上比较了所有考虑模型的性能。我们还将纯 Transformer 模型与两种常用附加处理层（CRF 和 LSTM）结合，并分析了它们对模型性能的影响。此外，我们使用一种成熟的特征重要性技术 (SHAP) 将模型性能与一组描述它们的特征相关联：模型类别（自编码、自回归、文本到文本）、预训练领域、从头训练以及以参数量衡量的模型规模。在我们分析的最后，我们确定了一系列可从实验数据中得出的关键结论。
引用
@article{arxiv.2306.05276,
title = {Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction},
author = {Simone Scaboro and Beatrice Portellia and Emmanuele Chersoni and Enrico Santus and Giuseppe Serra},
journal= {arXiv preprint arXiv:2306.05276},
year = {2023}
}