基于编辑的 SMILES 语言模型 SMI-Editor 及其在片段级监督下的应用
机器学习
2025-06-10 v2 生物大分子
摘要
SMILES 作为分子结构的关键文本表示，因其作为预训练语言模型（LM）的基础而受到广泛关注。然而，现有大多数预训练 SMILES LM 仅在预训练过程中关注单 token 级监督，未能充分利用分子的次结构信息。这种局限性导致预训练任务过于简单，阻碍模型捕获更丰富的分子语义信息。此外，这些 SMILES LM 在预训练时仅处理被破坏的 SMILES 输入，从而导致训练-推理之间的不匹配。为此，我们提出了 SMI-Editor，一种新型基于编辑的预训练 SMILES LM。SMI-Editor 以随机方式破坏分子中的次结构，并将生成的 SMILES 重新输入模型，使其通过编辑过程尝试恢复原始 SMILES。该方法不仅引入了片段级训练信号，还允许使用有效的 SMILES 作为输入，使模型能够从不完整的结构学习如何重建完整分子。结果表明，SMI-Editor 在多个下游分子任务上实现了最新性能，甚至超越了多个 3D 分子表示模型。
引用
@article{arxiv.2412.05569,
title = {SMI-Editor: Edit-based SMILES Language Model with Fragment-level Supervision},
author = {Kangjie Zheng and Siyue Liang and Junwei Yang and Bin Feng and Zequn Liu and Wei Ju and Zhiping Xiao and Ming Zhang},
journal= {arXiv preprint arXiv:2412.05569},
year = {2025}
}
备注
ICLR 2025