LeFusion：基于病灶聚焦扩散模型的可控病理图像合成
图像与视频处理
2024-10-08 v2 计算机视觉与模式识别
摘要
来自真实临床实践的患者数据常面临数据稀缺和长尾不平衡问题，导致结果产生偏差或算法不公平。本研究通过从无病灶图像生成含病灶的图像-分割对来解决这些挑战。以往医学图像合成的尝试难以将病灶信息与背景分离，导致背景质量低下且对合成输出的控制有限。受基于扩散的图像修复启发，我们提出了一种病灶聚焦的扩散模型 LeFusion。通过重新设计扩散学习目标以聚焦于病灶区域，我们简化了学习过程并改善了对输出的控制，同时通过将前向扩散的背景上下文整合到反向扩散过程中来保留高保真背景。此外，我们解决了病灶纹理合成中的两个主要挑战：1) 多峰和 2) 多类病灶。我们引入了两种有效策略：基于直方图的纹理控制和多通道分解，从而能够在困难场景下可控地生成高质量病灶。进一步地，我们引入了病灶掩码扩散，允许控制病灶的大小、位置和边界，从而增加病灶的多样性。在 3D 心脏病灶 MRI 和肺结节 CT 数据集上的验证表明，LeFusion 生成的数据显著提升了 SOTA 分割模型的性能，包括 nnUNet 和 SwinUNETR。代码和模型可在 https://github.com/M3DV/LeFusion 获取。
引用
@article{arxiv.2403.14066,
title = {LeFusion: Controllable Pathology Synthesis via Lesion-Focused Diffusion Models},
author = {Hantao Zhang and Yuhe Liu and Jiancheng Yang and Shouhong Wan and Xinyuan Wang and Wei Peng and Pascal Fua},
journal= {arXiv preprint arXiv:2403.14066},
year = {2024}
}
备注
19 pages