大规模化学语言模型在下游任务上的迁移效果如何？
机器学习
2026-05-14 v4 定量方法
摘要
化学语言模型（CLMs）在大规模分子数据上预训练后广泛用于分子性质预测。然而，增加训练资源（如模型规模、数据集规模和训练计算量）这一普遍信念，对预训练损失和下游任务性能的提升尚未在化学领域进行系统验证。在本工作中，我们通过在扩大训练资源的同时进行预训练，并衡量跨多样分子性质预测（MPP）任务的迁移性能来评估这一假设。我们发现，尽管预训练损失随训练资源的增加而持续降低，但下游任务性能的提升有限。此外，基于 Hessian 或损失景观的替代指标也无法估计 CLMs 的下游性能。我们进一步识别了下游性能饱和或在预训练指标持续改进时恶化的条件，并通过参数空间可视化分析其背后的任务相关失效模式。这些结果揭示了预训练评估与下游性能之间的差距，强调了需要显式考虑下游任务特征的模型选择和评估策略。
引用
@article{arxiv.2602.11618,
title = {How Well Do Large-Scale Chemical Language Models Transfer to Downstream Tasks?},
author = {Tatsuya Sagawa and Ryosuke Kojima},
journal= {arXiv preprint arXiv:2602.11618},
year = {2026}
}