基于大型语言模型临床概念嵌入的迁移学习
计算与语言
2024-09-24 v1
摘要
知识共享在医疗保健中至关重要，尤其是在利用来自多个临床站点的数据以解决数据稀缺、降低成本并实现及时干预时。迁移学习可以促进跨站点知识转移，但一个主要挑战是不同站点间临床概念的异质性。大型语言模型（LLM）展现出捕获临床概念语义含义并减少异质性的巨大潜力。本研究分析了来自两个大型医疗保健系统的电子健康记录，以评估来自 LLM 的语义嵌入对本地、共享和迁移学习模型的影响。结果表明，特定领域的 LLM（如 Med-BERT）在本地和直接迁移场景中始终表现优异，而像 OpenAI 嵌入这样的通用模型则需要进行微调才能达到最佳性能。然而，对带有生物医学嵌入的模型进行过度调优可能会降低有效性，这强调了保持平衡的必要性。本研究突出了特定领域嵌入和谨慎的模型调优对于医疗保健中有效知识转移的重要性。
引用
@article{arxiv.2409.13893,
title = {Transfer Learning with Clinical Concept Embeddings from Large Language Models},
author = {Yuhe Gao and Runxue Bao and Yuelyu Ji and Yiming Sun and Chenxi Song and Jeffrey P. Ferraro and Ye Ye},
journal= {arXiv preprint arXiv:2409.13893},
year = {2024}
}