使用 NLP 技术增强患者医疗专科分配

大型语言模型（LLM）的引入以及公开可用的大量医疗数据，放大了 NLP 在医疗领域的应用。然而，LLM 是在与所应用领域并非明确相关的数据上进行预训练的，并且通常偏向于其初始预训练所用的原始数据。即使是在特定领域数据上进行预训练，这些模型通常也需要耗时的微调才能在特定任务中取得良好的性能。为了解决这些局限性，我们提出了一种替代方法，该方法在计算高效的同时实现了卓越的性能。具体而言，我们利用关键词来训练一种深度学习架构，其性能优于在大型文本语料库上预训练的语言模型。我们的方案不需要预训练或微调，可以直接应用于特定环境以执行多标签分类。我们的目标是使用包含医疗转录和相关关键词的数据集，自动将新患者分配到他们所需的医疗专业人员所属的专科。为此，我们在该数据集上微调 PubMedBERT 模型，作为我们实验的基线。然后，我们分别使用关键词和完整转录作为输入，对 DNN 和 RoBERTa 语言模型进行两次训练/微调。我们使用相关指标比较了这些方法的性能。我们的结果表明，对于基础深度学习架构和大型语言模型，利用关键词进行文本分类均显著提高了分类性能。我们的方法代表了一种有前景且高效的替代方案，可替代在特定领域数据上微调语言模型的传统方法，并在各种医疗领域具有潜在应用。