基于 Bioformer 的 COVID-19 文献多标签主题分类
计算与语言
2022-04-15 v1 信息检索
摘要
我们描述了 Bioformer 团队参与 COVID-19 文献多标签主题分类任务（BioCreative VII 的 track 5）的情况。主题分类使用不同的 BERT 模型（BioBERT、PubMedBERT 和 Bioformer）进行。我们将主题分类任务构建为句子对分类问题，其中标题为第一句，摘要为第二句。我们的结果表明，Bioformer 在该任务中优于 BioBERT 和 PubMedBERT。与基线结果相比，我们的最佳模型将 micro、macro 和基于实例的 F1 分数分别提高了 8.8%、15.5%、7.4%。Bioformer 在该挑战中取得了最高的 micro F1 和 macro F1 分数。在挑战后的实验中，我们发现 Bioformer 在 COVID-19 文章上的预训练进一步提升了性能。
引用
@article{arxiv.2204.06758,
title = {Multi-label topic classification for COVID-19 literature with Bioformer},
author = {Li Fang and Kai Wang},
journal= {arXiv preprint arXiv:2204.06758},
year = {2022}
}