中文

指数族的热力学定律

统计力学 2025-01-07 v1 机器学习 统计理论 统计理论

摘要

我们以一般指数族为基础,发展其热力学定律。通过将学习(最小化对数损失)问题以最大熵和统计力学术语进行表述,我们将热力学结果转化为学习场景。我们扩展了指数族如何刻画热力学与学习平衡的已知方法。基本概念如功和热,以及高级概念如热力学循环和能量均分,在AI/统计学术语中找到了精确且有用的对应物。这些想法对量化和解决分布迁移问题具有广泛影响。

关键词

引用

@article{arxiv.2501.02071,
  title  = {Laws of thermodynamics for exponential families},
  author = {Akshay Balsubramani},
  journal= {arXiv preprint arXiv:2501.02071},
  year   = {2025}
}