化学语言模型连接器：利用模块化适配器融合文本与分子
机器学习
2025-08-25 v3 人工智能
定量方法
摘要
大型语言模型和多模态模型的发展使得从文本描述生成新分子这一极具吸引力的想法成为可能。生成式建模将把范式从依赖大规模化学筛选以寻找具有期望性质的分子，转变为直接生成这些分子。然而，结合文本和分子的多模态模型通常从头开始训练，而未利用现有的高质量预训练模型。从头开始训练会消耗更多计算资源并阻碍模型扩展。相比之下，我们提出了一种基于轻量级适配器的策略，称为化学语言模型连接器（Chemical Language Model Linker, ChemLML）。ChemLML 融合两个单领域模型，并在仍于分子领域的专用嵌入空间中运作的同时，实现了基于文本描述的条件分子生成。ChemLML 能够通过训练相对较少的适配器参数，为分子生成定制各种预训练文本模型。我们发现 ChemLML 中使用的分子表示的选择，即 SMILES 与 SELFIES，对条件分子生成性能有很大影响。尽管不能保证分子的有效性，SMILES 通常更可取。我们提出了使用整个 PubChem 分子数据集及其相关描述来评估分子生成的问题，并提供了该数据集的过滤版本作为生成测试集。为了展示 ChemLML 在实践中的应用方式，我们生成了候选蛋白质抑制剂并使用对接来评估其质量，同时还生成了候选膜渗透性分子。
引用
@article{arxiv.2410.20182,
title = {Chemical Language Model Linker: blending text and molecules with modular adapters},
author = {Yifan Deng and Spencer S. Ericksen and Anthony Gitter},
journal= {arXiv preprint arXiv:2410.20182},
year = {2025}
}
备注
63 pages, 13 figures