过参数化双层优化中的隐式偏置

机器学习中的许多问题涉及双层优化（BLO），包括超参数优化、元学习和数据集蒸馏。双层问题由两个嵌套的子问题组成，分别称为外层和内层问题。在实践中，这些子问题中通常至少有一个是过参数化的。在此情形下，存在许多方式在达到等价目标值的极值中做选择。受近期关于单级优化中优化算法所诱导隐式偏置研究的启发，我们研究基于梯度的双层优化算法的隐式偏置。我们刻画了两种标准 BLO 方法——冷启动与热启动——并表明收敛解或长期行为在很大程度上依赖于这些及其他算法选择，例如超梯度近似。我们还表明热启动 BLO 获得的内层解可编码关于外层目标的惊人数量的信息，即使外层参数是低维的。我们认为隐式偏置在双层优化研究中应占据如同其在单级神经网络优化研究中已获得的中心地位。