面向临床自然语言处理的轻量级 Transformer 模型
计算与语言
2024-11-20 v1 人工智能
机器学习
摘要
专用预训练语言模型在 NLP 中正变得愈发常见，因为它们有可能胜过在通用文本上训练的模型。BioBERT 与 BioClinicalBERT 是此类在医学 NLP 任务中展现潜力的两个例子。许多这类模型参数过剩且资源密集，但得益于知识蒸馏（KD）等技术，可以创建几乎与其更大对应模型表现相当的小型版本。本工作中，我们特别关注用于临床文本处理（即病程记录、出院小结等）的紧凑语言模型开发。我们利用知识蒸馏与持续学习开发了若干高效轻量级临床 transformer，参数规模从 1500 万到 6500 万不等。这些模型表现与 BioBERT、ClinicalBioBERT 等较大模型相当，并显著优于在其他通用或生物医学数据上训练的紧凑模型。我们的广泛评估在多个标准数据集上完成，涵盖自然语言推理、关系抽取、命名实体识别与序列分类等广泛的临床文本挖掘任务。据我们所知，这是首个专门针对临床 NLP 任务创建高效紧凑 transformer 的全面研究。本研究所用模型与代码分别可在我们的 Huggingface 主页 https://huggingface.co/nlpie 与 Github 页面 https://github.com/nlpie-research/Lightweight-Clinical-Transformers 获取，以促进结果的可复现性。
引用
@article{arxiv.2302.04725,
title = {Lightweight Transformers for Clinical Natural Language Processing},
author = {Omid Rohanian and Mohammadmahdi Nouriborji and Hannah Jauncey and Samaneh Kouchaki and ISARIC Clinical Characterisation Group and Lei Clifton and Laura Merson and David A. Clifton},
journal= {arXiv preprint arXiv:2302.04725},
year = {2024}
}