CCIS-Diff:一种基于稳定扩散先验的可控结肠镜图像合成生成模型
计算机视觉与模式识别
2025-01-07 v2 人工智能
摘要
结肠镜检查对于识别腺瘤性息肉和预防结直肠癌至关重要。然而,由于现有结肠镜数据集的大小和可访问性有限,开发稳健的息肉检测模型具有挑战性。尽管之前的努力尝试合成结肠镜图像,但当前方法存在不稳定性和数据多样性不足的问题。此外,这些方法缺乏对生成过程的精确控制,导致生成的图像无法满足临床质量标准。为应对这些挑战,我们提出了CCIS-DIFF,一种基于扩散架构的高质量结肠镜图像合成可控生成模型。我们的方法能够精确控制息肉的空间属性(位置和形状)以及与临床描述一致的临床特征。具体来说,我们引入了一种模糊掩码加权策略,以无缝融合合成的息肉与结肠黏膜,以及一种文本感知注意力机制,以引导生成的图像反映临床特征。值得注意的是,为实现这一点,我们构建了一个新的多模态结肠镜数据集,整合了图像、掩码注释和相应的临床文本描述。实验结果表明,我们的方法生成了高质量、多样化的结肠镜图像,并对空间约束和临床一致性进行了精细控制,为下游分割和诊断任务提供了有价值的支持。
引用
@article{arxiv.2411.12198,
title = {CCIS-Diff: A Generative Model with Stable Diffusion Prior for Controlled Colonoscopy Image Synthesis},
author = {Yifan Xie and Jingge Wang and Tao Feng and Fei Ma and Yang Li},
journal= {arXiv preprint arXiv:2411.12198},
year = {2025}
}
备注
5 pages, 4 figures