最优学习机器的特殊统计力学

最优学习机器（OLM）是从其所接触环境或所呈现数据中提取信息量最大表示的系统。近来有建议指出，这些系统的特征在于能级的指数分布。为了在更宽泛框架内理解OLM的特殊性质，我考虑了一类多变量函数上的优化问题集合，其中部分变量描述子系统，其余变量刻画其与随机环境的相互作用。具有给定目标函数值的子系统状态数服从拉伸指数分布，指数为$\gamma$，且相互作用部分从同一分布中随机抽取，对整体系统的每种构型独立。$\gamma=1$的系统对应于OLM，我们发现它们位于两个具有显著不同性质的区间的边界上。对所有$\gamma>0$，系统呈现冻结相变。相变在$\gamma<1$时不连续，在$\gamma>1$时连续。$\gamma>1$区域对应可学习的能量景观，且当环境规模超过临界阈值时子系统的行为变得可预测。反之，对于$\gamma<1$，能量景观不可学习，且随着环境规模增大系统行为变得越来越不可预测。$\gamma=1$的子系统（OLM）表现出与环境相对大小无关的行为。这与高效表示应大体独立于环境描述详细程度的预期一致。