LipidBERT：在 METiS 从头设计的脂质库上预训练的脂质语言模型
计算与语言
2025-05-06 v3 化学物理
生物大分子
摘要
在本研究中，我们通过 METiS 内部的从头脂质生成算法和脂质虚拟筛选技术，生成并维护了一个包含 1000 万个虚拟脂质的数据库。这些虚拟脂质作为预训练、脂质表示学习和下游任务知识迁移的语料库，最终实现了最先进的 LNP 性质预测性能。我们提出了 LipidBERT，一个使用掩码语言模型 (MLM) 和多种辅助任务预训练的 BERT 类模型。此外，我们比较了 LipidBERT 和我们类似 GPT 的脂质生成模型 PhatGPT 生成的嵌入在下游任务上的表现。我们提出的双语 LipidBERT 模型使用两种语言：一种是在可电离脂质语言上预训练，使用我们内部的干实验室脂质结构；另一种是在 LNP 微调语言上，使用我们内部的 LNP 湿实验室数据。这种双重能力使 LipidBERT 成为未来新型 METiS 从头脂质库和（更重要的是）用于体内测试的 LNP 候选物的重要 AI 筛选工具。据我们所知，这是首次成功证明预训练语言模型在虚拟脂质上的能力，并利用湿实验室数据在下游任务中取得有效结果。这项工作展示了 METiS 内部从头脂质库的巧妙利用以及干湿实验室结合的力量。
引用
@article{arxiv.2408.06150,
title = {LipidBERT: A Lipid Language Model Pre-trained on METiS de novo Lipid Library},
author = {Tianhao Yu and Cai Yao and Zhuorui Sun and Feng Shi and Lin Zhang and Kangjie Lyu and Xuan Bai and Andong Liu and Xicheng Zhang and Jiali Zou and Wenshou Wang and Chris Lai and Kai Wang},
journal= {arXiv preprint arXiv:2408.06150},
year = {2025}
}