探针化学语言模型：预训练与微调的影响
机器学习
2026-07-02 v1
摘要
化学语言模型（CLM）使用 SMILES 等线性化表示进行训练，但尚不清楚它们编码了哪些具有化学意义的子结构。为了促进对 CLM 的更好理解，我们进行了一项系统研究，在八个预训练模型和六个随机初始化模型中探测了 78 个分子子结构。我们还研究了在化学下游任务上进行微调如何影响分子子结构的学习表示。我们的结果表明，预训练通常能提高 CLM 的分子结构意识，尤其是在上层。此外，随机初始化的模型在第一层就已经很好地编码了环结构。我们对两个化学下游任务的分析进一步揭示，有趣的是，微调对任务相关的分子子结构的影响大于其他子结构，表明表示的变化符合化学理论。
引用
@article{arxiv.2607.02140,
title = {Probing Chemical Language Models: Effects of Pre-training and Fine-tuning},
author = {Anna Karnysheva and Dietrich Klakow and Ji-Ung Lee},
journal= {arXiv preprint arXiv:2607.02140},
year = {2026}
}