利用展开与双层优化学习变分模型
机器学习
2023-09-07 v5 机器学习
统计理论
统计理论
摘要
本文中，我们在通过风险最小化的监督学习背景下考虑学习变分模型的问题。我们的目标是深入理解通过双层优化和通过算法展开来学习变分模型的两种途径。前者将变分模型视为风险最小化问题之下的低层优化问题，而后者用近似求解该问题的算法替代低层优化问题。两种方法都在实践中使用，但展开从计算角度看要简单得多。为分析和比较这两种途径，我们考虑一个简单的玩具模型，并显式计算所有风险及相应估计量。我们表明展开可以优于双层优化方法，但也表明展开的性能可能显著依赖于其他参数，有时以出人意料的方式：虽然展开算法的步长影响很大（且学习步长带来显著改进），但展开迭代次数作用较小。
引用
@article{arxiv.2209.12651,
title = {Learning Variational Models with Unrolling and Bilevel Optimization},
author = {Christoph Brauer and Niklas Breustedt and Timo de Wolff and Dirk A. Lorenz},
journal= {arXiv preprint arXiv:2209.12651},
year = {2023}
}