分子属性预测的 BERTology 研究
机器学习
2026-03-17 v1 计算与语言
摘要
化学语言模型（CLMs）日益成为流行的经典机器学习模型在分子属性预测（MPP）任务中的有力竞争者。然而，越来越多的研究报告了CLMs在各种MPP基准任务上的性能表现不一致且相互矛盾。本研究我们开展并分析了大量严格控制的实验，系统性地调查了诸多因素（如数据集规模、模型规模和标准化）对CLMs在MPP任务上的预训练和微调性能的影响。由于缺乏面向编码器-only 遮盖语言模型的明确的比例定律，本文旨在提供全面的数值证据并深入理解影响CLMs在MPP任务性能的底层机制，其中一些因素在文献中可能被完全忽视。
引用
@article{arxiv.2603.13627,
title = {BERTology of Molecular Property Prediction},
author = {Mohammad Mostafanejad and Paul Saxe and T. Daniel Crawford},
journal= {arXiv preprint arXiv:2603.13627},
year = {2026}
}