P-Transformer：一种用于医疗表格数据的基于提示的多模态 Transformer 架构
计算与语言
2025-04-11 v4
摘要
医疗表格数据在电子健康记录（EHRs）中十分丰富，是风险预测等多种医疗任务的宝贵资源。尽管深度学习方法，尤其是基于 transformer 的模型，在表格数据预测中表现出卓越性能，现有工作要有效适配医疗领域仍存在一些问题，例如忽略非结构化自由文本以及未充分利用结构化数据中的文本信息。为解决这些问题，我们提出 PTransformer，一种专为医疗表格数据设计的基于提示（Prompt）的多模态 Transformer 架构。该框架包含两个关键组件：表格单元嵌入生成器与表格 transformer。前者借助预训练句子编码器与医疗提示，将来自结构化与非结构化表格数据的多样模态高效编码至统一的语言语义空间。后者整合单元表示以生成用于各类医疗任务的患者嵌入。在三个医疗任务的两个真实世界数据集上的综合实验中，与最先进（SOTA）基线相比，PTransformer 在预测性上分别提升 RMSE/MAE 10.9%/11.0%、RMSE/MAE 0.5%/2.2%、BACC/AUROC 1.6%/0.8%。
引用
@article{arxiv.2303.17408,
title = {P-Transformer: A Prompt-based Multimodal Transformer Architecture For Medical Tabular Data},
author = {Yucheng Ruan and Xiang Lan and Daniel J. Tan and Hairil Rizal Abdullah and Mengling Feng},
journal= {arXiv preprint arXiv:2303.17408},
year = {2025}
}