SADM：用于纵向医学图像生成的序列感知扩散模型
计算机视觉与模式识别
2023-06-19 v2 人工智能
机器学习
摘要
人体器官由于短期（如心跳）与长期（如衰老）因素的复杂混合而不断经历解剖学变化。显然，在建模其未来状态（即通过图像生成）时，这些因素的先验知识将是有益的。然而，大多数医学图像生成任务仅依赖单张图像的输入，因而即使存在纵向数据也忽略了序列依赖性。序列感知深度生成模型以有序且带时间戳的图像序列作为模型输入，在具有若干独特挑战的医学成像领域仍未被充分探索：1）长度各异的序列；2）缺失数据或帧；3）高维性。为此，我们提出一种序列感知扩散模型（SADM）用于纵向医学图像生成。近来，扩散模型在高保真图像生成中展现出有前景的结果。我们的方法通过引入序列感知transformer作为扩散模型中的条件模块，扩展了这一新技术。该新颖设计能够即使在训练期间存在缺失数据时也学习纵向依赖性，并允许在推理时自回归地生成图像序列。我们在3D纵向医学图像上的大量实验证明了SADM相较于基线及替代方法的有效性。代码见 https://github.com/ubc-tea/SADM-Longitudinal-Medical-Image-Generation。
引用
@article{arxiv.2212.08228,
title = {SADM: Sequence-Aware Diffusion Model for Longitudinal Medical Image Generation},
author = {Jee Seok Yoon and Chenghao Zhang and Heung-Il Suk and Jia Guo and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2212.08228},
year = {2023}
}
备注
To be published in Information Processing in Medical Imaging 2023 (IPMI 2023)