基于能量模型的过拟合理论框架

我们研究了有限数据对训练用于识别交互网络的逆向问题中成对能量模型的影响。利用高斯模型作为测试平台，我们在耦合矩阵的本征基上剖析了训练轨迹，利用本征模的独立演化，揭示了学习时间尺度与经验协方差矩阵的谱分解相关联。我们发现，提前停止的最优点源于这些时间尺度与训练初始条件之间的相互作用。此外，我们表明有限数据校正可以通过渐近随机矩阵理论计算进行精确建模，并提供了能量模型背景下广义交叉验证的对应物。我们的分析框架以极小的变化扩展至二元变量最大熵成对模型。这些发现提供了通过经验收缩校正控制离散变量模型过拟合的策略，改善了基于能量的生成模型中过拟合的管理。最后，我们通过在 score-matching 算法下推导得分函数的神经正切核动力学，提出了向任意基于能量模型的推广。