基于对比预训练与提示调优的多中心药物推荐模型
信息检索
2024-12-31 v1
摘要
药物推荐作为最关键的健康相关应用，近期吸引了广泛的研究关注。大多数现有工作侧重于单一医院且数据丰富。然而，许多小型医院仅拥有少量记录，这限制了现有药物推荐方法在实际中的应用。因此，我们寻求探索更为实际的场景，即多中心药物推荐。在该场景下，各医院记录有限，但总体记录数巨大。尽管小型医院可从总体丰富的记录中获益，但面临数据分布差异大的挑战。在本工作中，我们引入一种新型的对比预训练模型联合提示调优方法（TEMPT），用于多中心药物推荐，包含预训练和微调两个阶段。我们首先设计两种自监督任务进行预训练，以学习通用医学知识，分别为掩码预测和对比任务，这些任务提取输入诊断和程序之间的内在及跨关系。此外，我们构思了一种新颖的提示调优方法，以捕捉每个医院的特定信息，而非采用常规微调方法。一方面，所提出的提示调优能够更好地学习各医院的异质性，以适应不同的数据分布；另一方面，它也能缓解微调中的灾难性遗忘问题。为验证所提模型的有效性，我们在公开的eICU多中心医疗数据集上进行大量实验。实验结果表明，我们的方法有效。实现代码已公开以便复现：https://github.com/Applied-Machine-Learning-Lab/TEMPT
引用
@article{arxiv.2412.20040,
title = {A Contrastive Pretrain Model with Prompt Tuning for Multi-center Medication Recommendation},
author = {Qidong Liu and Zhaopeng Qiu and Xiangyu Zhao and Xian Wu and Zijian Zhang and Tong Xu and Feng Tian},
journal= {arXiv preprint arXiv:2412.20040},
year = {2024}
}
备注
accepted by TOIS