跨架构与化学域的原子基础模型蒸馏
计算物理
2025-06-13 v1
摘要
机器学习原子间势已彻底改变了物理科学领域的计算研究。近期的原子'基础'模型再次改变了该领域：这些势能模型训练于多种不同的化学元素和域上，具有广泛适用性，但运行速度较慢且资源消耗较大。本文展示了如何通过合成数据蒸馏，将原子基础模型的知识廉价地迁移到一系列不同架构中，从而解锁体积更小、效率更高的势能模型。我们演示了从一种图网络架构蒸馏到另一种架构可实现超过10倍加速，以及利用原子簇展开框架可实现超过100倍加速。我们展示了在化学和材料域中的适用性：从液态水到极端条件下的氢；从多孔硅和混合卤化物钙钛矿太阳能电池材料到有机反应建模。我们的工作展示了蒸馏如何支持当前和未来原子基础模型在真实科学研究中的常规和计算高效使用。
引用
@article{arxiv.2506.10956,
title = {Distillation of atomistic foundation models across architectures and chemical domains},
author = {John L. A. Gardner and Daniel F. Thomas du Toit and Chiheb Ben Mahmoud and Zoé Faure Beaulieu and Veronika Juraskova and Laura-Bianca Paşca and Louise A. M. Rosset and Fernanda Duarte and Fausto Martelli and Chris J. Pickard and Volker L. Deringer},
journal= {arXiv preprint arXiv:2506.10956},
year = {2025}
}