面向组织化学图扩散模型的动态实体掩码组织病理图像表征学习
计算机视觉与模式识别
2024-12-17 v1 人工智能
摘要
自然图像特征与组织病理图像固有特征之间存在显著差异，这使得直接将预训练模型从自然图像迁移到组织病理任务具有挑战性。此外，组织病理图像块常缺乏标注，推动研究者探索基于掩码重建的自监督学习方法，从大量无标签数据中学习表征。关键在于，之前的自监督学习中基于掩码的工作常忽视实体之间的空间相互作用，而这些相互作用对于构建精确的病理实体表征至关重要。为此，构建实体图是一条有前景的路径。此外，扩散重建策略近期通过其随机强度噪声添加技术显示出优异性能，能够增强所学表征的鲁棒性。因此，我们引入H-MGDM（Dynamic Entity-Masked Graph Diffusion Model for Histopathological image Representation Learning），这是一种新的自监督组织病理图像表征学习方法。具体而言，我们提出在预训练期间使用互补子图作为潜在扩散条件和自监督目标。我们指出，图可以嵌入实体的拓扑关系，从而增强表征。动态条件和目标可提高病理细粒重建。我们的模型在三个大型组织病理数据集上进行了预训练实验。对H-MGDM在六个数据集上的综合下游任务（如分类和生存分析）的高级预测性能和可解释性进行了明确评估。我们的代码将在https://github.com/centurion-crawler/H-MGDM上公开。
引用
@article{arxiv.2412.10482,
title = {Dynamic Entity-Masked Graph Diffusion Model for histopathological image Representation Learning},
author = {Zhenfeng Zhuang and Min Cen and Yanfeng Li and Fangyu Zhou and Lequan Yu and Baptiste Magnier and Liansheng Wang},
journal= {arXiv preprint arXiv:2412.10482},
year = {2024}
}