通过平均场朗之万动力学用神经网络学习多指标模型

我们研究了在高频维度下使用两层神经网络结合平均场朗之万算法学习多指标模型的问题。在对数据施加温和的分布假设下，我们利用神经网络对潜在低维结构的自适应特性，刻画了同时控制样本和计算复杂度的有效维度 $d_{\mathrm{eff}}$。当数据呈现此类结构时，$d_{\mathrm{eff}}$ 可以显著小于环境维度。我们证明样本复杂度随 $d_{\mathrm{eff}}$ 几乎线性增长，从而规避了近期基于梯度的特征学习分析中出现的信息指数和生成指数的限制。另一方面，在最坏情况下计算复杂度可能不可避免地随 $d_{\mathrm{eff}}$ 指数增长。为改善计算复杂度，我们迈出了平均场朗之万算法多项式时间收敛的第一步，考察了权重被约束在具有正里奇曲率的紧流形（如超球面）上的设定。在该设定下我们研究了多项式时间收敛可达的条件，而在欧几里得设定下类似的假设会导致指数时间复杂度。