基于软提示微调利用全科医生自由文本荷兰语病历预测肺癌

我们研究了基于上下文词表示的不同自然语言处理（NLP）方法，用于利用荷兰全科医生的自由文本患者病历进行肺癌早期预测的问题。由于肺癌在初级保健中患病率较低，我们还解决了高度不平衡类别下的分类问题。具体而言，我们使用基于大型 Transformer 的预训练语言模型（PLM）并研究：1）软提示微调（soft prompt-tuning，一种利用少量训练数据适配 PLM 的 NLP 技术）与标准模型微调相比如何；2）在高度不平衡设置下，更简单的静态词嵌入模型（WEM）是否比 PLM 更鲁棒；以及 3）当在少数患者病历上训练时模型表现如何。我们发现：1）软提示微调是标准模型微调的高效替代方案；2）随着分类问题更加不平衡，与更简单的静态词嵌入模型相比，PLM 显示出更好的区分度但更差的校准；3）在少量患者上训练模型的结果参差不齐，PLM 与 WEM 之间无明显差异。我们的所有代码已在 \url{https://bitbucket.org/aumc-kik/prompt_tuning_cancer_prediction/} 开源。