生物学基础模型之间的多模态迁移学习
机器学习
2024-06-21 v1
摘要
生物序列以 DNA、RNA 和蛋白质等形式编码生命构建块的基本指令。对这些序列进行建模是理解疾病机制的关键，而这一点是计算生物学中的一个活跃研究领域。最近，大型语言模型在解决某些生物学任务方面显示出巨大的潜力，但当前方法仅限于单一序列模态（DNA、RNA 或蛋白质）。基因组学中的关键问题本质上涉及多个模态，但如何将通用序列模型适用于此类情况仍不明确。在本工作中，我们提出了一个多模态模型，通过利用来自不同预训练模态特定编码器的信息，将 DNA、RNA 和蛋白质相互关联。我们通过应用于预测多个 RNA 转录同型素如何从同一基因（即同一 DNA 序列）产生并映射到不同组织中不同转录表达水平这一 largely 未解决的问题来展示其能力。我们表明，Our model 所谓的 IsoFormer 能够准确预测差异转录表达，超越现有方法，并充分利用了多个模态的使用。我们的框架还实现了从编码器预训练中的知识迁移以及在模态之间进行的知识迁移。我们开源了该模型，为新的多模态基因表达方法铺平了道路。
引用
@article{arxiv.2406.14150,
title = {Multi-modal Transfer Learning between Biological Foundation Models},
author = {Juan Jose Garau-Luis and Patrick Bordes and Liam Gonzalez and Masa Roller and Bernardo P. de Almeida and Lorenz Hexemer and Christopher Blum and Stefan Laurent and Jan Grzegorzewski and Maren Lang and Thomas Pierrot and Guillaume Richard},
journal= {arXiv preprint arXiv:2406.14150},
year = {2024}
}