使用上下文条件联合扩散模型协同合成组织病理学细胞核图像-标签对

在多类组织病理学细胞核分析任务中，训练数据的缺乏成为基于学习方法性能的主要瓶颈。为了应对这一挑战，先前的方法利用生成模型通过生成合成样本来增加数据。然而，现有方法常常忽略了在合成数据中考虑生物组织上下文（例如形状、空间布局和组织类型）的重要性。此外，尽管生成模型在合成逼真的组织病理学图像方面表现出优越性能，但现有方法均无法同时生成图像-标签对。在本文中，我们引入了一种新颖的框架，使用上下文条件联合扩散模型来协同合成组织病理学细胞核图像和配对的语义标签。我们提出使用带有结构相关文本提示的细胞核质心布局来条件化扩散模型，从而将空间和结构上下文信息融入生成目标。此外，我们通过使用与图像和语义标签同时合成的距离图来生成实例级细胞核标签，从而增强了合成语义标签的粒度。我们在多机构、多器官和多模态数据集上证明了该框架在生成高质量样本方面的有效性。我们的合成数据在细胞核分割和分类的下游任务中，始终优于现有的数据增强方法。