关于宽两层神经网络动力学中的对称性
机器学习
2023-02-10 v4 机器学习
摘要
我们考虑无限宽两层ReLU神经网络（无偏置）在总体风险上的梯度流理想化设定，并研究对称性对所学参数与预测子的影响。我们首先描述一类一般对称性，当目标函数与输入分布满足该类对称性时，动力学保持之。随后我们研究更具体的情形。当为奇函数时，我们证明预测子的动力学化简为（非线性参数化的）线性预测子的动力学，且其指数收敛可得以保证。当具有低维结构时，我们证明梯度流偏微分方程化简为低维偏微分方程。此外，我们给出非正式与数值论证，表明输入神经元与该问题的低维结构相对齐。
引用
@article{arxiv.2211.08771,
title = {On the symmetries in the dynamics of wide two-layer neural networks},
author = {Karl Hajjar and Lenaic Chizat},
journal= {arXiv preprint arXiv:2211.08771},
year = {2023}
}