基于掩码引导的零样态体外组织学图像生成跨图注意力

使用生成式 AI 创建体外数据承诺提供一种成本有效的替代方案，以取代 whole slide images 在计算病理学中的染色、成像和标注。扩散模型是生成体外图像的领先技术，提供无与伦比的保真度和真实性。使用外观迁移扩散模型允许进行零样态图像生成，便于快速应用且无需模型训练。然而，当前的外观迁移扩散模型为 natural images 设计，主要任务是将原图中的前景对象迁移到目标域，而背景则不够重要。在计算病理学中，尤其是在肿瘤学中，若要定义图像中哪些对象应被归类为前景和背景并不直观，因为图像中的所有对象对于详细理解肿瘤微环境都是至关重要的。我们通过修改外观迁移引导，使其在使用现有分割掩码的基础上交替进行类别特定的 AdaIN 特征统计匹配，从而拓展了外观迁移扩散模型适用于免疫组织化学染色图像的应用性。该方法的性能通过下游任务中监督的腺癌分割来展示，表明其对模型训练所需的手动标注数量可减少 75%，优于基线方法。此外，我们咨询了认证病理科医生以探讨未来的改进。我们预期本工作将激发在计算病理学中应用零样态扩散模型的热潮，为生成保真度和真实性卓越的体外图像提供一种高效方法，这些图像对下游任务（如训练现有深度学习模型或微调基础模型）具有意义。