神经网络原子间势的数据效率与外推趋势
机器学习
2023-12-22 v2 化学物理
摘要
过去几年中，神经网络原子间势（NNIPs）提出了若干关键架构进展，例如引入消息传递网络、等变性和多体展开项。尽管现代 NNIP 模型在能量/力误差上差异微小，但在开发新 NNIP 架构时，准确率的提升仍被视为主要目标。本工作中，我们展示了架构与优化选择如何影响 NNIP 的泛化，揭示了分子动力学（MD）稳定性、数据效率和损失景观中的趋势。利用 3BPA 数据集，我们表明 NNIP 的测试误差遵循缩放关系且对噪声具有鲁棒性，但无法预测高精度 regime 下的 MD 稳定性。为规避此问题，我们提出使用损失景观可视化与损失熵度量来预测 NNIP 的泛化能力。通过对 NequIP 和 MACE 的大规模研究，我们表明损失熵能够预测分布外误差与 MD 稳定性，尽管其仅在训练集上计算。借助该探针，我们展示了优化器选择、损失函数加权、数据归一化及其他架构决策如何影响 NNIP 的外推行为。最后，我们将损失熵与数据效率相关联，证明更平坦的景观也能预测学习曲线斜率。我们的工作为众多常见 NNIP 的外推性能提供了深度学习层面的解释，并引入了超越准确率度量的工具，可用于指导下一代模型的开发。
引用
@article{arxiv.2302.05823,
title = {Data efficiency and extrapolation trends in neural network interatomic potentials},
author = {Joshua A. Vita and Daniel Schwalbe-Koda},
journal= {arXiv preprint arXiv:2302.05823},
year = {2023}
}