利用混合专家在有限数据集上提升Transformer对法语临床笔记分类的性能

基于Transformer的模型在自然语言处理中展现出卓越成果，但在诸如小规模临床文本分类等应用中面临挑战，尤其是在计算资源受限的情况下。本研究提出了一种定制的混合专家（MoE）Transformer模型，用于CHU Sainte-Justine医院的小规模法语临床文本分类。该MoE-Transformer解决了有限数据下的有效训练以及适合医院内部使用的低资源计算这两重挑战。尽管CamemBERT-bio、DrBERT和AliBERT等生物医学预训练模型取得了成功，但其高计算需求使它们对许多临床环境而言不切实际。我们的MoE-Transformer模型在同一数据集上不仅优于DistillBERT、CamemBERT、FlauBERT和Transformer模型，还取得了令人印象深刻的指标：准确率87%、精确率87%、召回率85%、F1分数86%。虽然MoE-Transformer未超越生物医学预训练BERT模型的性能，但其训练速度至少快190倍，为数据和计算资源有限的场景提供了可行替代方案。尽管MoE-Transformer存在泛化差距和尖锐极小值的挑战，在高效准确临床文本分类上表现出一定局限，该模型仍代表了领域的显著进展。它对于在医院计算资源的隐私与约束下分类法语小规模临床叙述尤其有价值。