利用瓶颈适配器在低资源约束下识别临床笔记中的癌症
计算与语言
2023-06-08 v2 人工智能
摘要
处理临床健康记录中锁定的信息是一项具有挑战性的任务，仍是生物医学 NLP 中的活跃研究领域。在这项工作中，我们评估了从简单 RNN 到专用 Transformer（如 BioBERT）的广泛机器学习技术，所用数据集包含临床笔记以及一组标明样本是否与癌症相关的注释。此外，我们专门采用来自 NLP 的高效微调方法，即瓶颈适配器（bottleneck adapters）和提示调优（prompt tuning），使模型适应我们的专用任务。我们的评估表明，在自然语言上预训练并使用瓶颈适配器微调冻结的 BERT 模型优于所有其他策略，包括完整微调专用的 BioBERT 模型。基于我们的发现，我们建议在标记数据或处理能力有限的低资源情况下，使用瓶颈适配器可能是生物医学文本挖掘中的可行策略。实验中使用的代码将在 https://github.com/omidrohanian/bottleneck-adapters 提供。
引用
@article{arxiv.2210.09440,
title = {Using Bottleneck Adapters to Identify Cancer in Clinical Notes under Low-Resource Constraints},
author = {Omid Rohanian and Hannah Jauncey and Mohammadmahdi Nouriborji and Vinod Kumar Chauhan and Bronner P. Gonçalves and Christiana Kartsonaki and ISARIC Clinical Characterisation Group and Laura Merson and David Clifton},
journal= {arXiv preprint arXiv:2210.09440},
year = {2023}
}