将化学结构作为处理手段整合进样本形态学描绘图像的表示学习

近期自监督深度学习的进展显著提升了我们对细胞形态变化进行量化的能力，这一过程被称为形态学描绘。然而，大多数当前方法仅从图像中学习，尽管许多屏幕数据本身具有多模态特征，既涉及化学或基因扰动，也涉及基于图像的读出结果。我们假设，通过在自监督预训练过程中融合化合物结构，可改善从高通量显微镜屏幕中获得的图像表示。我们引入了一种表示学习框架MICON（分子-图像对比学习），将化学化合物建模为诱导细胞表型变化的处理手段。MICON在挑战性评估环境中显著优于基于细胞计分器等经典手工特征以及现有深度学习表示学习方法，后者在必须跨独立复制品和数据生成中心识别药物可重复效应的情境下表现尤为出色。我们展示， 将化学化合物信息纳入学习过程可带来性能的小幅但持续的提升，并且将化合物建模为处理手段的做法优于将图像与化合物直接对齐于单一表示空间的方法。我们的发现指向了形态学描绘表示学习的新方向，表明方法应显式地考虑显微镜筛选数据所具有的多模态性。