大型语言模型训练的神经热力学定律
机器学习
2025-05-16 v1 人工智能
数据分析、统计与概率
机器学习
摘要
除了神经尺度定律（neural scaling laws）外，关于大型语言模型（LLM）背后规律的认识仍有限。我们提出神经热力学定律（Neural Thermodynamic Laws, NTL）——一种新框架，为理解LLM训练动态提供了全新视角。在理论层面，我们展示，在河谷损失景观假设下，关键热力学量（如温度、熵、热容、热导）以及经典热力学原理（如三定律和均分定理）自然而然地出现。在实践层面，这种科学视角提供了直观的学习率方案设计指导。
引用
@article{arxiv.2505.10559,
title = {Neural Thermodynamic Laws for Large Language Model Training},
author = {Ziming Liu and Yizhou Liu and Jeff Gore and Max Tegmark},
journal= {arXiv preprint arXiv:2505.10559},
year = {2025}
}
备注
18 pages, 10 figures