基于可控扩散模型的 XReal：面向解剖学和病理学的 X 射线真实生成
图像与视频处理
2024-10-24 v2 计算机视觉与模式识别
摘要
大规模生成模型在产生引人注目的图像方面已展现出惊人的能力，正在在医学成像中日益增长的应用。然而，它们仍面临幻觉挑战和生成解剖学不准确输出的问题，这些限制主要源于依赖文本输入且缺乏对生成图像的空间控制，阻碍了此类模型在现实场景中的潜在实用性。本文提出 XReal，一种通过精确的解剖学和病理学位置控制来生成逼真胸部 X 射线图像的可控扩散模型。我们的方法包含一个解剖学控制器和一个病理学控制器，分别在预训练的文本到图像扩散模型中引入空间控制，无需对模型进行微调。XReal 在定量指标和放射科学家评级方面均优于最先进的 X 射线扩散模型，在解剖学和病理学真实性方面实现了显著提升。我们的模型为推动医学成像中的生成模型发展提供了可能， offering greater precision and adaptability while inviting further exploration in this evolving field. 代码和预训练模型权重已公开于 https://github.com/BioMedIA-MBZUAI/XReal。
引用
@article{arxiv.2403.09240,
title = {XReal: Realistic Anatomy and Pathology-Aware X-ray Generation via Controllable Diffusion Model},
author = {Anees Ur Rehman Hashmi and Ibrahim Almakky and Mohammad Areeb Qazi and Santosh Sanjeev and Vijay Ram Papineni and Jagalpathy Jagdish and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2403.09240},
year = {2024}
}