通过统一与定制化指令微调学习用于胸片解读的多任务Transformer
计算机视觉与模式识别
2024-03-05 v2
摘要
多模态深度学习模型的出现在过去十年中对临床应用产生了重大影响。然而，大多数模型局限于单任务，未考虑疾病诊断实则是一个多任务过程。在此，我们展示了一种专为多模态临床任务设计的统一Transformer模型，其通过引入定制化指令微调（instruction tuning）实现。我们首先构建了一个多任务训练数据集，包含1340万条指令与真值对（约一百万张 radiographs）用于定制化微调，涵盖图像级与像素级任务。由此，我们可将各类视觉密集型任务统一于单一训练框架中，采用同质化的模型输入输出，以在一次读片中提升临床可解释性。最后，我们证明了我们的模型在各种胸部X光基准上、于直接推理与微调设置下的多任务中均优于先前方法。三位放射科医生进一步将生成的报告与记录报告进行评估，同样展现出我们多任务模型增强的可解释性。
引用
@article{arxiv.2311.01092,
title = {Learning A Multi-Task Transformer Via Unified And Customized Instruction Tuning For Chest Radiograph Interpretation},
author = {Lijian Xu and Ziyu Ni and Xinglong Liu and Xiaosong Wang and Hongsheng Li and Shaoting Zhang},
journal= {arXiv preprint arXiv:2311.01092},
year = {2024}
}