SMolLM：小语言模型学习小分子语法
机器学习
2026-05-29 v2
摘要
用于分子设计的语言模型已扩展至数亿参数规模，然而对其如何学习化学语法的理解仍非常有限。我们训练了 SMolLM，一个 53K 参数的权重共享 Transformer，在类药分子基准 ZINC-250K 上生成新 SMILES 的有效率达 95%，优于参数量多 10 倍的标准 GPT。在机制上，同一个模块在固定的层级中通过多次传递解决 SMILES 约束：首先是括号，其次是环，最后是化合价，这一点已由错误分类和线性探测证实，并通过消融实验分离出了括号匹配头。总而言之，这些结果产生了一个紧凑的、机制可解释的分子生成器，以及一个用于研究形式语言领域中迭代计算的计算试验台。
引用
@article{arxiv.2605.06322,
title = {SMolLM: Small Language Models Learn Small Molecular Grammar},
author = {Akhil Jindal and Harang Ju},
journal= {arXiv preprint arXiv:2605.06322},
year = {2026}
}
备注
19 pages, 5 figures, 11 tables