ViTally Consistent：用于细胞显微成像的规模化生物表征学习
摘要
大规模细胞显微成像筛选被用于药物发现和分子生物学研究，以研究数百万种化学和遗传扰动对细胞的影响。为了将这些图像用于下游分析，我们需要能够将每张图像映射到特征空间的模型，使其以一致的方式表示多样化的生物表型，即具有相似生物效应的扰动具有相似的表征。在这项工作中，我们展示了迄今为止最大的细胞显微成像数据基础模型——一个在超过 80 亿张显微成像图像裁剪上训练的新型 19 亿参数 ViT-G/8 MAE。与之前发表的 ViT-L/8 MAE 相比，我们的新模型在遗传扰动的线性可分性方面取得了 60% 的提升，并在全基因组生物关系召回和重复一致性基准上获得了最佳整体性能。除了规模化之外，我们开发了两种关键方法来提升性能：（1）在经过策划的多样化数据集上进行训练；（2）使用生物学动机驱动的线性探测任务在每个 Transformer 块中搜索全基因组筛选的最佳候选表征。我们发现，许多在自然图像或显微成像图像上预训练的自监督视觉 Transformer，其内部块比通常使用的最终块产生更具生物学意义的显微成像图像表征。更广泛地说，我们的方法和结果为成功构建大规模生物数据基础模型提供了通用策略的见解。
引用
@article{arxiv.2411.02572,
title = {ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy},
author = {Kian Kenyon-Dean and Zitong Jerry Wang and John Urbanik and Konstantin Donhauser and Jason Hartford and Saber Saberian and Nil Sahin and Ihab Bendidi and Safiye Celik and Marta Fay and Juan Sebastian Rodriguez Vera and Imran S Haque and Oren Kraus},
journal= {arXiv preprint arXiv:2411.02572},
year = {2025}
}
备注
ICML 2025 main-track paper (42nd International Conference on Machine Learning). Formerly appeared as best paper runner-up at NeurIPS 2024 Foundation Models for Science Workshop (38th Conference on Neural Information Processing Systems). 18 pages, 7 figures