用于显微镜图像的掩码自编码器是可扩展的细胞生物学学习器
计算机视觉与模式识别
2025-06-03 v1 人工智能
机器学习
摘要
将显微镜图像特征化以供生物学研究使用仍然是一个重大挑战，尤其对于涉及数百万张图像的大规模实验而言。本工作探索了弱监督分类器和自监督掩码自编码器（MAE）在使用越来越大的模型骨干和显微镜数据集进行训练时的扩展特性。我们的结果表明，基于ViT的MAE在多种任务上优于弱监督分类器，在回忆从公共数据库整理的已知生物关系时，相对提升高达11.5%。此外，我们开发了一种新的通道无关MAE架构（CA-MAE），允许在推理时输入不同数量和顺序通道的图像。我们证明，CA-MAE通过在不同于我们预训练数据（RPI-93M）的实验条件下生成且具有不同通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估，能够有效泛化。我们的发现激励了继续研究在显微镜数据上扩展自监督学习，以创建强大的细胞生物学基础模型，这些模型有潜力催化药物发现及其他领域的进步。
引用
@article{arxiv.2404.10242,
title = {Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology},
author = {Oren Kraus and Kian Kenyon-Dean and Saber Saberian and Maryam Fallah and Peter McLean and Jess Leung and Vasudev Sharma and Ayla Khan and Jia Balakrishnan and Safiye Celik and Dominique Beaini and Maciej Sypetkowski and Chi Vicky Cheng and Kristen Morse and Maureen Makes and Ben Mabey and Berton Earnshaw},
journal= {arXiv preprint arXiv:2404.10242},
year = {2025}
}
备注
CVPR 2024 Highlight. arXiv admin note: text overlap with arXiv:2309.16064