结合原始-对偶风格微分的双层学习自适应不精确方法

我们考虑用于学习线性算子的双层学习框架。在该框架中，可学习参数通过一个损失函数进行优化，该损失函数同时依赖于一个凸优化问题（称为下层问题）的极小值。我们使用一种名为"piggyback"的迭代算法来计算损失和下层问题极小值的梯度。由于下层问题是数值求解的，损失函数及其梯度只能不精确地计算。为了估计所计算超梯度的精度，我们推导了一个后验误差界，该误差界为设置下层问题的容差以及 piggyback 算法的容差提供了指导。为了高效求解上层优化问题，我们还提出了一种自适应选择合适步长的方法。为了说明所提方法，我们考虑了若干学习正则化问题，例如训练输入凸神经网络。