用于在平衡点学习的重启压缩算子
最优化与控制
2025-06-17 v1 机器学习
摘要
双层优化为成像逆问题中的超参数学习提供了方法论，但其与自动微分技术的结合仍具有挑战性。一方面，逆问题通常通过迭代任意多次某种基本方案来解决，该方案将任意点映射到能量泛函的最小值，即平衡点。另一方面，在能量泛函中引入待学习参数会产生与展开神经网络（Unrolled NN）非常相似的架构，从而暗示使用自动微分（AD）技术。然而，应用 AD 要求神经网络具有相对较浅的深度，因此有必要将展开方案截断为有限次迭代。首先，我们证明在最小值处，深度平衡（DEQ）框架中计算的最优梯度下降步存在一个近似值，称为无雅可比反向传播（JFB），该近似值更容易计算，并且通过控制截断展开方案的 Lipschitz 性质可以使其任意精确。其次，我们提出了一种结合重启策略与通过 AD 计算的 JFB 的算法，并证明所学习的步长可以任意接近最优 DEQ 框架。第三，我们通过将该方法应用于逐渐偏离理论框架的多种成像问题来补充理论分析。特别地，我们证明了该方法在加权范数的权重训练、即插即用方案的步长和正则化水平以及嵌入在前向-后向迭代中的 DRUNet 去噪器方面是有效的。
引用
@article{arxiv.2506.13239,
title = {Restarted contractive operators to learn at equilibrium},
author = {Leo Davy and Luis M. Briceno-Arias and N. Pustelnik},
journal= {arXiv preprint arXiv:2506.13239},
year = {2025}
}