多目标双层优化的梯度算法
最优化与控制
2024-06-11 v1
摘要
多目标双层优化（MOBLO）解决的是一类常见于多种应用场景的嵌套多目标优化问题。然而，其多目标和分层双层本质使其问题异常复杂。最近，梯度-based MOBLO 算法因其有效求解诸如元学习、神经网络结构搜索和强化学习等关键机器学习问题而日益流行。然而，这些算法依赖于以高精度求解一系列近似子问题，导致时间和内存复杂度不利，降低其数值效率。为此，我们提出一种名为 gMOBA 的梯度算法，用于 MOBLO，其参数更少，既简单又高效。此外，我们通过实现理想的 Pareto 稳定性来证明其理论有效性。数值实验确认了所提方法的实际效率，并验证了理论结果。为加速 gMOBA 的收敛，我们引入一种有益的 L2O 神经网络（称为 L2O-gMOBA），作为 gMOBA 算法的初始化阶段。 presented numerical experiments 的比较结果说明了 L2O-gMOBA 的性能。
关键词
引用
@article{arxiv.2406.05455,
title = {Gradient-based algorithms for multi-objective bi-level optimization},
author = {Xinmin Yang and Wei Yao and Haian Yin and Shangzhi Zeng and Jin Zhang},
journal= {arXiv preprint arXiv:2406.05455},
year = {2024}
}
备注
accepted by SCIENCE CHINA Mathematics