基于非配对图像到图像翻译的细胞核感知自监督预训练用于组织病理学图像
计算机视觉与模式识别
2023-09-22 v1
摘要
自监督预训练试图从无标注数据中获取有效特征以提升模型性能，并已在组织病理学图像领域展现出其有效性。尽管取得成功，鲜有工作聚焦于细胞核级信息的提取，而这对病理分析至关重要。本工作中，我们提出一种新颖的面向组织病理学图像的细胞核感知自监督预训练框架。该框架旨在通过组织病理学图像与伪掩码图像之间的非配对图像到图像翻译来捕获核形态与分布信息。生成过程由条件风格表征与随机风格表征共同调制，确保所生成组织病理学图像用于预训练的真实性与多样性。此外，采用实例分割引导策略以捕获实例级信息。在 7 个数据集上的实验表明，所提预训练方法在迁移学习协议下于 Kather 分类、多实例学习及 5 项密集预测任务上优于有监督方法，并在 8 项半监督任务上取得优于其他自监督方法的结果。我们的项目公开于 https://github.com/zhiyuns/UNITPathSSL。
引用
@article{arxiv.2309.07394,
title = {Nucleus-aware Self-supervised Pretraining Using Unpaired Image-to-image Translation for Histopathology Images},
author = {Zhiyun Song and Penghui Du and Junpeng Yan and Kailu Li and Jianzhong Shou and Maode Lai and Yubo Fan and Yan Xu},
journal= {arXiv preprint arXiv:2309.07394},
year = {2023}
}