测试风险的随机梯度流动力学及其弱特征的精确解

我们研究了学习理论中连续时间随机梯度流动力的测试风险。利用路径积分公式，在小学习率下，我们提供了一个计算纯梯度流和随机梯度流测试风险曲线差异的一般公式。我们将该一般理论应用于一个显示双下降现象的简单弱特征模型，并显式计算了动力学中随机项带来的修正，这些修正是时间和模型参数的函数。将分析结果与离散时间随机梯度下降的模拟进行了比较，显示出良好的一致性。