如何诱导线性模型中的正则化：重参数化梯度流的指南

在本文中，我们分析了线性模型（涵盖多种基本回归任务）中梯度流的重参数化与所诱导的隐式偏差之间的关系。具体而言，我们旨在理解模型参数——重参数化、损失函数和链接函数——对梯度流收敛行为的影响。我们的结果给出了隐式偏差可被良好描述且保证流收敛的条件。我们进一步展示了如何利用这些见解来设计重参数化函数，从而产生与$\ell_p$-或三角正则化器密切相关的特定隐式偏差。