基于Moreau包络的弱凸差重构及双层规划算法
最优化与控制
2024-01-23 v2 机器学习
摘要
双层规划已成为超参数选择的有力工具，而超参数选择是机器学习中的核心问题。在Ye等人（2023）最近的研究中，引入了基于值函数的凸差算法来处理双层规划。该方法在处理下层问题在上层与下层变量上均凸的情形时尤为强大，此类情形包括支持向量机和与正则化回归。在本文中，我们大幅扩展了应用范围，现在仅要求下层规划的下层变量凸。我们基于下层问题的Moreau包络提出了一种创新的单层弱凸差重构。我们进一步开发了序列收敛的不精确近端弱凸差算法（iP-DwCA）。为评估所提iP-DwCA的有效性，我们进行了聚焦于在模拟数据上调整核支持向量机超参数的数值实验。
引用
@article{arxiv.2306.16761,
title = {Moreau Envelope Based Difference-of-weakly-Convex Reformulation and Algorithm for Bilevel Programs},
author = {Lucy L. Gao and Jane J. Ye and Haian Yin and Shangzhi Zeng and Jin Zhang},
journal= {arXiv preprint arXiv:2306.16761},
year = {2024}
}