利用弱标签从细胞图像自监督学习表型表示
计算机视觉与模式识别
2022-11-18 v2
摘要
我们提出 WS-DINO 作为一种新颖框架，用于在从高内涵荧光细胞图像学习表型表示时利用弱标签信息。我们的模型基于带有视觉 Transformer 骨干（DINO）的知识蒸馏方法，并将其作为本研究的基准模型。使用 WS-DINO，我们利用高内涵显微筛选（处理与化合物）中可用的弱标签信息进行微调，在 BBBC021 数据集上以化合物作为弱标签，于非同化合物作用机制预测中取得最先进性能（98%），以及非同化合物且非同批次性能（96%）。我们的方法省去了单细胞分裂作为预处理步骤，并利用自注意力图表明模型学到了结构上有意义的表型轮廓。
引用
@article{arxiv.2209.07819,
title = {Self-Supervised Learning of Phenotypic Representations from Cell Images with Weak Labels},
author = {Jan Oscar Cross-Zamirski and Guy Williams and Elizabeth Mouchet and Carola-Bibiane Schönlieb and Riku Turkki and Yinhai Wang},
journal= {arXiv preprint arXiv:2209.07819},
year = {2022}
}