DAMM-Diffusion: 学习散度感知的多模态扩散模型用于纳米颗粒分布预测
计算机视觉与模式识别
2025-03-13 v1 图像与视频处理
摘要
纳米颗粒（NP）分布的预测对于肿瘤的诊断和治疗至关重要。近期研究表明，肿瘤微环境（TME）的异质性显著影响纳米颗粒在肿瘤中的分布。因此，借助多模态TME组分生成纳米颗粒分布已成为研究热点。然而，多模态TME组分之间的分布差异可能导致副作用，即最优的单模态模型可能优于联合生成模型。为解决上述问题，我们提出了一种散度感知多模态扩散模型（DAMM-Diffusion），能够在统一网络中自适应地从单模态和多模态分支生成预测结果。具体而言，单模态分支由U-Net架构组成，而多模态分支通过引入两种新颖的融合模块对其进行扩展，即多模态融合模块（MMFM）和不确定性感知融合模块（UAFM）。其中，MMFM用于融合多模态特征，而UAFM模块用于学习不确定性映射以进行交叉注意力计算。在每个分支的独立预测结果基础上，我们提出了散度感知多模态预测器（DAMMP）模块，用于评估多模态数据与不确定性映射的一致性，从而决定最终预测结果来自多模态还是单模态预测。我们根据肿瘤血管和细胞核等TME组分预测纳米颗粒分布，实验结果表明DAMM-Diffusion能够以更高的精度生成纳米颗粒分布。此外，在多模态脑图像合成任务上的额外结果进一步验证了所提方法的有效性。
引用
@article{arxiv.2503.09491,
title = {DAMM-Diffusion: Learning Divergence-Aware Multi-Modal Diffusion Model for Nanoparticles Distribution Prediction},
author = {Junjie Zhou and Shouju Wang and Yuxia Tang and Qi Zhu and Daoqiang Zhang and Wei Shao},
journal= {arXiv preprint arXiv:2503.09491},
year = {2025}
}
备注
Accepted by CVPR 2025