基于掩码图像建模学习细胞核表征
计算机视觉与模式识别
2023-06-30 v1
摘要
掩码图像建模（MIM）是一种强大的自监督表征学习范式，其潜力尚未在医学图像分析中得到广泛展示。在这项工作中，我们展示了 MIM 在细胞核级别捕获苏木精-伊红（H&E）染色图像丰富语义表征的能力。受图像 Transformer 的双向编码器表征（BEiT）启发，我们将图像分割成更小的图像块并生成相应的离散视觉词元。除了视觉 Transformer 中通常使用的规则基于网格的图像块外，我们引入了单个细胞核的图像块。我们提出了这些结构在图像内不规则分布的位置编码。我们在已分割细胞核的弥漫大 B 细胞淋巴瘤 H&E 染色全切片图像上以自监督方式预训练模型。预训练目标一方面恢复被掩码图像的原始离散视觉词元，另一方面重建被掩码目标实例的视觉词元。耦合这两个预训练任务使我们能够构建强大的、具有上下文感知的细胞核表征。我们的模型泛化良好，可在下游分类任务上微调，在 PanNuke 数据集上相比当前实例分割方法将细胞分类准确率提高了 5% 以上。
引用
@article{arxiv.2306.17116,
title = {Learning Nuclei Representations with Masked Image Modelling},
author = {Piotr Wójcik and Hussein Naji and Adrian Simon and Reinhard Büttner and Katarzyna Bożek},
journal= {arXiv preprint arXiv:2306.17116},
year = {2023}
}