用于多目标双层优化的一阶多梯度算法
机器学习
2024-07-11 v2
摘要
在本文中，我们研究多目标双层优化 (MOBLO) 问题，其中上层子问题是一个多目标优化问题，下层子问题为标量优化。现有的基于梯度的 MOBLO 算法需要计算 Hessian 矩阵，导致计算效率低下。为解决此问题，我们提出了一种高效的 MOBLO 一阶多梯度方法，称为 FORUM。具体而言，我们通过值函数方法将 MOBLO 问题重新表述为约束多目标优化 (MOO) 问题。然后，我们提出一种新颖的多梯度聚合方法来解决具有挑战性的约束 MOO 问题。理论上，我们提供了复杂度分析以展示所提方法的效率，并给出了非渐近收敛结果。实验上，大量实验证明了所提 FORUM 方法在不同学习问题中的有效性和效率。特别是，它在三个多任务学习基准数据集上取得了最先进的性能。代码可在 https://github.com/Baijiong-Lin/FORUM 获取。
引用
@article{arxiv.2401.09257,
title = {A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization},
author = {Feiyang Ye and Baijiong Lin and Xiaofeng Cao and Yu Zhang and Ivor Tsang},
journal= {arXiv preprint arXiv:2401.09257},
year = {2024}
}
备注
ECAI 2024