语义增强的生成式基础模型改进病理图像合成
计算机视觉与模式识别
2025-12-17 v2 人工智能
摘要
临床级人工智能在病理学中的发展受到多样化、高质量标注数据集匮乏的制约。生成式模型提供了潜在的解决方案，但存在语义不稳定和形态学幻觉等问题，损害了诊断可靠性。为应对这一挑战，我们提出了 Correlation-Regulated Alignment Framework for Tissue Synthesis（CRAFTS），首个面向病理学特定任务的文本到图像生成式基础模型。通过在约 280 万张图像-文本对上进行双阶段训练策略，CRAFTS 引入了一种新颖的对齐机制以抑制语义漂移，确保生物学准确性。该模型生成涵盖 30 种癌症类型的多样化病理图像，其质量通过客观指标和病理学家评估进行了严格验证。此外，CRAFTS 增强的数据集提升了多种临床任务的性能，包括分类、跨模态检索、自监督学习和视觉问答。此外，将 CRAFTS 与 ControlNet 相结合，可从核分割掩膜和荧光图像等输入中精确控制组织架构。通过克服数据稀缺和隐私保护的关键障碍，CRAFTS 提供了多样化标注组织学数据的无限来源，有效解锁了针对罕见和复杂癌症表型构建稳健诊断工具的能力。
引用
@article{arxiv.2512.13164,
title = {A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis},
author = {Xianchao Guan and Zhiyuan Fan and Yifeng Wang and Fuqiang Chen and Yanjiang Zhou and Zengyang Che and Hongxue Meng and Xin Li and Yaowei Wang and Hongpeng Wang and Min Zhang and Heng Tao Shen and Zheng Zhang and Yongbing Zhang},
journal= {arXiv preprint arXiv:2512.13164},
year = {2025}
}
备注
68 pages, 9 figures, 16 tables