MedSegFactory：基于文本引导的医学图像-掩码对生成
计算机视觉与模式识别
2025-07-14 v2 人工智能
机器学习
摘要
本文提出了MedSegFactory，一个灵活的医学合成框架，用于生成跨模态和任务的高质量配对医学图像和分割掩码。它旨在作为无限的数据仓库，为现有分割工具提供图像-掩码对。MedSegFactory的核心是双流扩散模型，其中一个流综合医学图像，另一个流生成相应的分割掩码。为确保图像-掩码对之间的精确对齐，我们引入了Joint Cross-Attention(JCA)，通过动态交叉条件化实现协同去噪范式。这种双向交互允许两种表示相互指导其生成，从而增强生成配对的一致性。MedSegFactory通过用户定义的提示在需要的地方生成配对医学图像和分割掩码，这些提示指定目标标签、成像模态、解剖区域和病理条件，促进了可扩展且高质量的数据生成。这一新的医学图像合成范式使其能够无缝集成到多样化的医学成像工作流程中，提高了效率和准确性。广泛的实验表明，MedSegFactory生成的数据质量优越且可用性强，在2D和3D分割任务中实现了竞争或领先的性能，同时解决了数据稀缺和监管限制的问题。
引用
@article{arxiv.2504.06897,
title = {MedSegFactory: Text-Guided Generation of Medical Image-Mask Pairs},
author = {Jiawei Mao and Yuhan Wang and Yucheng Tang and Daguang Xu and Kang Wang and Yang Yang and Zongwei Zhou and Yuyin Zhou},
journal= {arXiv preprint arXiv:2504.06897},
year = {2025}
}
备注
12 pages, 8 figures, The project page can be accessed via https://jwmao1.github.io/MedSegFactory_web