通过细粒度图像 - 文本对齐与解剖 - 病理提示进行医学图像合成

数据稀缺和隐私问题限制了高质量医学图像的公开可用性，而医学图像合成可以缓解这一问题。然而，当前的医学图像合成方法往往难以准确捕捉详细解剖结构和病理状况的复杂性。为应对这些挑战，我们提出了一种新颖的医学图像合成模型，该模型利用细粒度图像 - 文本对齐和解剖 - 病理提示来生成高度详细且准确的合成医学图像。我们的方法将先进的自然语言处理技术与图像生成建模相结合，实现了描述性文本提示与合成图像的解剖和病理细节之间的精确对齐。所提出的方法包含两个关键组件：解剖 - 病理提示模块和基于细粒度对齐的合成模块。解剖 - 病理提示模块自动为高质量医学图像生成描述性提示。为了进一步从生成的提示中合成高质量医学图像，基于细粒度对齐的合成模块为放射学数据集预定义了一个视觉码本，并执行码本与生成提示之间的细粒度对齐，以获取作为视觉线索的关键图块，从而促进准确的图像合成。我们在公开胸部 X 射线数据集上的实验验证了我们方法的优越性，并表明我们的合成图像保留了准确的语义信息，使其对各种医学应用具有价值。