统一多模态诊断框架：重构预训练与异质性对抗微调
计算机视觉与模式识别
2024-04-10 v1
摘要
医学多模态预训练通过利用大规模无标注数据集在计算机辅助诊断中展现出潜力。然而，现有基于掩码自编码器的方法主要依赖数据级重构任务，缺乏高层语义信息。此外，两个显著的异质性挑战阻碍了预训练知识向下游任务的迁移，即预训练数据与下游数据之间的分布异质性，以及下游数据内部的模态异质性。为了应对这些挑战，我们提出了一个统一的医学多模态诊断（UMD）框架，包含定制的预训练和下游微调策略。具体来说，为了增强视觉和语言编码器的表示能力，我们提出了多级重构预训练（MR-Pretrain）策略，包括特征级和数据级重构，引导模型从不同模态的掩码输入中捕获语义信息。此外，为了解决下游微调过程中的两种异质性，我们提出了异质性对抗下游微调策略，包括任务导向分布校准（TD-Calib）和梯度引导模态协调（GM-Coord）。特别地，TD-Calib根据下游数据集的分布对预训练模型进行微调，而GM-Coord根据不同模态的动态优化状态调整梯度权重。在五个公共医学数据集上的大量实验证明了我们UMD框架的有效性，在三种下游任务上显著优于现有方法。
引用
@article{arxiv.2404.06057,
title = {Unified Multi-modal Diagnostic Framework with Reconstruction Pre-training and Heterogeneity-combat Tuning},
author = {Yupei Zhang and Li Pan and Qiushi Yang and Tan Li and Zhen Chen},
journal= {arXiv preprint arXiv:2404.06057},
year = {2024}
}
备注
to be published in IEEE JBHI; Code available at https://github.com/helenypzhang/UMD