训练算法对神经网络势性能的影响：以 Adam 与卡尔曼滤波优化器为例
化学物理
2021-12-15 v3 机器学习
计算物理
摘要
开发神经网络势（NNPs）时一个隐蔽但重要的问题是训练算法的选择。本文利用 Behler-Parrinello 神经网络（BPNN）和两个公开可用的液态水数据集 [Proc. Natl. Acad. Sci. U.S.A. 2016, 113, 8368-8373 与 Proc. Natl. Acad. Sci. U.S.A. 2019, 116, 1110-1115]，比较了两种常用训练算法——自适应矩估计（Adam）和扩展卡尔曼滤波（EKF）的性能。通过在 TensorFlow 中实现 EKF 来完成这一比较。研究发现，与 Adam 相比，使用 EKF 训练的 NNPs 具有更强的可迁移性，且对学习率取值的敏感度更低。在两种情况下，验证集的误差指标并不总能很好地反映 NNPs 的实际性能。相反，我们表明其性能与一种基于 Fisher 信息的相似性度量具有良好的相关性。
引用
@article{arxiv.2109.03769,
title = {Training Algorithm Matters for the Performance of Neural Network Potential: A Case Study of Adam and the Kalman Filter Optimizers},
author = {Yunqi Shao and Florian M. Dietrich and Carl Nettelblad and Chao Zhang},
journal= {arXiv preprint arXiv:2109.03769},
year = {2021}
}