低旋转机制下双层网络中以梯度下降进行特征选择

本工作在标准初始化下的双层ReLU网络上，建立了梯度流（GF）和随机梯度下降（SGD）在三类关键权重集合几乎不旋转（自然因GF和SGD所致，或因人造约束所致）机制下的低测试误差，并以间隔（margin）作为核心分析技术。第一类机制靠近初始化，具体直到权重移动了$\mathcal{O}(\sqrt m)$（其中$m$表示网络宽度），这与神经切线核（NTK）所允许的$\mathcal{O}(1)$权重移动形成鲜明对比；此处表明GF和SGD仅需要网络宽度和样本数与NTK间隔成反比，且GF至少达到NTK间隔本身，这足以确立从间隔目标的不良KKT点的逃逸，而先前工作只能确立非递减但任意小的间隔。第二类机制是神经崩溃（NC）设定，其中数据位于极度分离的分组中，样本复杂度随组数缩放；此处相对于先前工作的贡献是对从初始化起的整个GF轨迹的分析。最后，若内层权重被约束为仅改变范数且不能旋转，则大宽度下的GF达到全局最大间隔，其样本复杂度随其倒数缩放；这与先前工作需要无限宽度和棘手的对偶收敛假设形成对比。作为纯技术贡献，本工作开发了多种势函数及其他工具，有望助力未来工作。