通过学习个性化不变表征实现通用三维医学多模态泛化

医学成像模态的差异和个体解剖差异给多模态任务中的跨模态泛化带来了挑战。现有方法往往只关注共同的解剖模式，从而忽略了个体差异，进而限制了其泛化性能。本文强调学习个体级不变性，即个性化表征 $\mathbb{X}_h$，在均匀和异质设置下增强多模态泛化的关键作用。研究揭示了个体生物特征到不同医学模态的映射在人群中保持不变，这体现在个性化过程中。我们提出了一种两阶段方法：先通过不变表征 $\mathbb{X}_h$ 进行预训练以实现个性化，然后针对多样化下游任务进行微调。我们提供了理论和实证证据，证明个性化的可行性和优势，表明我们的方法在多样化多模态医学任务中相比缺乏个性化的方法具有更大的泛化性和可迁移性。大量实验进一步验证了我们的方法在各种泛化场景中显著提升了性能。