用于改进组织病理学表征学习的分层文本到视觉自监督对齐

自监督表征学习在组织病理学图像分析中显示出巨大前景，许多方法利用其“患者-切片-图块”的层次结构来学习更好的表征。在本文中，我们探索如何将领域特定的自然语言信息与这种分层视觉表征相结合，以利于医学图像任务的丰富表征学习。基于组织病理学图像中可见特征的自动化语言描述生成，我们提出了一种新颖的与语言结合的自监督学习框架，即用于组织病理学图像的分层语言结合自监督（Hierarchical Language-tied Self-Supervision, HLSS）。我们探索了对比目标和在多个层次上进行基于细粒度语言描述的文本对齐，以将语言模态信息注入视觉表征中。我们得到的模型在两个医学成像基准OpenSRH和TCGA数据集上取得了SOTA性能。我们的框架还通过我们语言对齐的表征空间提供了更好的可解释性。代码可在 https://github.com/Hasindri/HLSS 获取。