基于信息几何约束的热力学最优正则化

现代机器学习依赖一系列经验上成功但理论上异构的正则化技术，如权重衰减、dropout和指数移动平均。与此同时，大模型训练的能源成本日益增加，引发是否接近基本效率下界的疑问。本文提出统一的理论框架，将热力学最优性、信息几何和正则化联系起来。在三个明确假设下——（A1）最优性要求内在的、参数不变的信息度量标准；（A2）信念状态由已知约束下的最大熵分布来建模；（A3）最优过程为准静态过程——我们证明了条件最优定理。具体而言，Fisher-Rao度量是信念空间唯一可接受的几何，热力学最优正则化对应于最小化到参考状态的Fisher-Rao距离平方。我们推导了高斯和圆形信念模型所诱导的几何，分别产生双曲和von Mises流形，指出经典正则化方案在保证热力学最优性方面在结构上不可行。我们提出学习的热力学效率概念，提出可实验检验的预测。这项工作为机器学习中的正则化提供了原则化的几何和热力学基础。