神经网络的适应性切向特征视角

为了更好地理解神经网络中的特征学习，我们提出一个理解切向特征空间中线性模型的框架，其中特征在训练期间可被变换。我们考虑特征的线性变换，从而在双线性插值约束下对参数与变换进行联合优化。我们证明该优化问题等价于一个具有结构化正则化的线性约束优化，其鼓励近似低秩解。具体到神经网络结构，我们深入理解了特征及核函数如何变化，为当目标函数难以用切向特征表示时核对齐现象提供了更细致的刻画。我们在真实神经网络的核对齐中验证了我们的理论观察。