超越亚当：离散原子基石模型微调中的优化器效应
计算物理
2025-12-08 v1
摘要
原子基石模型构成了计算材料科学的范式转变，提供了具备广泛化学空间可迁移性的通用机器学习原子势。尽管微调对于将这些预训练模型适应到特定目标系统至关重要，但优化算法对这一过程的影响尚未得到充分阐述。本文对包括 Adam、AdamW、RAdam、SGD、LAMB、Ranger 和 ScheduleFree 在内的七种一阶优化器，对基石模型的微调进行严格的基准测试。我们根据能量和力的精度，对这些算法在分布内和分布外配置上进行评估，以及其对下游物理性质（如弹性模量、声子谱和界面动力学）的影响。我们通过一种预条件化框架来解释这些经验结果，将每个优化器视为梯度的数据依赖线性变换。该分析阐明了不同的更新规则如何对有效损失 Hessian 的谱滤波器施加特定限制。在所有 regime 中，AdamW 和 ScheduleFree 实现了优异的曲率条件和力精度，而随机梯度下降则表现出慢收敛和不稳定性。此外，我们演示了简短的二阶微调阶段可减少损失景观中的残余各向异性，从而提高物理可观测量的保真度，而不会增加推理成本。这些发现为选择和设计优化器以确保通用原子势的稳定高效微调提供了概念性见解和实用指导。
引用
@article{arxiv.2512.05489,
title = {Beyond Adam: Disentangling Optimizer Effects in the Fine-Tuning of Atomistic Foundation Models},
author = {Xiaoqing Liu and Yangshuai Wang and Teng Zhao},
journal= {arXiv preprint arXiv:2512.05489},
year = {2025}
}