具有闭式梯度的 l1 正则化器双层学习（BLORC）
机器学习
2021-11-23 v1
摘要
我们提出一种用于监督学习促进稀疏的正则化器的方法，该正则化器是许多现代信号重建问题中的关键要素。正则化器的参数被学习以最小化在由真实信号与测量值对组成训练集上的重建均方误差。训练涉及求解一个具有非光滑下层目标函数的挑战性双层优化问题。我们利用由其对偶问题给出的下层变分问题的隐式闭式解，推导了训练损失梯度的表达式，并提供了 accompanying 的梯度下降算法（称为 BLORC）以最小化该损失。我们在简单自然图像和 1D 信号去噪上的实验表明，所提方法能学习有意义的算子，且所计算的解析梯度比标准自动微分方法更快。尽管我们提出的方法应用于去噪，但我们认为它可适用于具有线性测量模型的多种逆问题，从而在广泛场景中具有适用性。
引用
@article{arxiv.2111.10858,
title = {Bilevel learning of l1-regularizers with closed-form gradients(BLORC)},
author = {Avrajit Ghosh and Michael T. Mccann and Saiprasad Ravishankar},
journal= {arXiv preprint arXiv:2111.10858},
year = {2021}
}