通过交叉注意力在联合潜在空间中利用扩散模型进行 MRI 与表格数据的多模态合成
图像与视频处理
2026-05-11 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了一种多模态潜在扩散模型，该模型通过交叉注意力在共享的潜在空间内联合合成体积磁共振成像（MRI）与表格型临床数据。该方法能够对 MRI 与表格模态进行连贯的联合表示学习，以用于生成建模。我们的模型利用变分自编码器在基于扩散的合成之前融合这两种模态，从而允许通过分别针对 MRI 和表格数据的独立解码器进行适合模态的重建。我们在德国国家队列（NAKO Gesundheitsstudie）的数据上评估了该框架，该数据包含超过 10,000 名参与者的 MRI 扫描和临床表格特征（如年龄、性别、身体测量和种族）。生成的 MRI 体积表现出解剖学上的合理性，且身体成分与合成的表格属性一致。使用 Fréchet 距离和精确率-召回率指标进行的定量评估证实了高保真图像生成。在表格模态中，我们的模型在标准评估指标上优于 CTGAN，并取得了与 TVAE 相当的结果，表明相对于成熟的单模态基线具有竞争力的性能。据我们所知，这项工作首次证明了在单一潜在扩散框架内联合建模 MRI 与混合类型表格数据的可行性，为生成连贯的合成多模态患者数据提供了概念验证，并与在医疗保健中开发数字孪生的更广泛目标相契合。
引用
@article{arxiv.2605.06699,
title = {Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention},
author = {Daniel Mensing and Jan Kapar and Jochen G. Hirsch and Matthias Günther and Horst Hahn and Marvin N. Wright},
journal= {arXiv preprint arXiv:2605.06699},
year = {2026}
}