掩码细胞的自监督伪着色
计算机视觉与模式识别
2023-08-29 v2
摘要
自监督学习——被形象地称为智能的暗物质——在深度学习的生物医学应用中正获得越来越多关注。本工作中，我们为生物医学显微图像中的细胞分析引入一种新颖的自监督目标。我们提出训练深度学习模型对掩码细胞进行伪着色。我们使用一种物理感知的伪谱色彩映射，其非常适用于细胞拓扑的着色。我们的实验表明，通过伪着色来近似语义分割有利于后续在细胞检测上的微调。受近期掩码图像建模成功的启发，我们额外掩码掉细胞部分并训练重建这些部分，以进一步丰富所学表征。我们将预训练方法与包括对比学习（SimCLR）、掩码自编码器（MAEs）和基于边缘的自监督在内的自监督框架进行比较。我们基于先前工作构建用于细胞检测的混合模型，其同时包含卷积与视觉 transformer 模块。当在六个荧光显微镜数据集的多样集合上预训练时，我们的预训练方法能优于 SimCLR、类 MAE 的掩码图像建模以及基于边缘的自监督。代码见：https://github.com/roydenwa/pseudo-colorize-masked-cells
引用
@article{arxiv.2302.05968,
title = {Self-supervised pseudo-colorizing of masked cells},
author = {Royden Wagner and Carlos Fernandez Lopez and Christoph Stiller},
journal= {arXiv preprint arXiv:2302.05968},
year = {2023}
}
备注
14 pages, 3 figures; Published in PLOS ONE