通过序列模型中的过参数化提升适应性

众所周知，核的特征函数在核回归中起着至关重要的作用。通过几个例子，我们证明即使具有相同的特征函数集，这些函数的顺序也会显著影响回归结果。通过将核对角化来简化模型，我们在序列模型领域引入了一种过参数化的梯度下降方法，以捕捉一组固定特征函数的不同顺序所带来的影响。该方法旨在探索不同特征函数顺序的影响。我们的理论结果表明，过参数化的梯度流能够适应信号的底层结构，并显著优于普通的梯度流方法。此外，我们还证明更深的过参数化可以进一步增强模型的泛化能力。这些结果不仅为过参数化的益处提供了新的视角，也为神经网络在核机制之外的适应性和泛化潜力提供了洞见。