两个问题的故事：多任务双层学习遇见等约束多目标优化
机器学习
2026-05-15 v2
摘要
近年来，双层优化 (BLO) 因其广泛的机器学习应用而受到广泛关注。然而，现有大多数关于BLO的工作局限于单任务设置，并依赖于下层强凸性假设，这显著限制了其针对日益复杂的现代机器学习问题的适用性。在本文中，我们首次尝试在放宽下层一般凸性 (LLGC) 假设下，将BLO扩展到多任务设置。为此，我们将具有LLGC的多任务双层学习 (MTBL) 问题转化为等约束多目标优化 (ECMO) 问题。然而，ECMO本身是一种尚未在文献中研究过的新问题。为解决这一空白，我们首先建立一种基于Karush-Kuhn-Tucker (KKT) 的Pareto stationarity 作为ECMO算法设计的收敛准则。基于此基础，我们提出一种加权切比雪夫 (WC) -惩罚算法，在确定性和随机设置下均达到 的有限时间收敛率，其中 表示目标数量， 为总迭代次数。此外，通过在 维单纯形上变化偏好向量，我们的WC-惩罚方法系统地探索Pareto前沿。最终，ECMO问题的解直接转化为原始MTBL问题的解，从而在这两个基础优化框架之间搭建了桥梁。
引用
@article{arxiv.2605.09094,
title = {A Tale of Two Problems: Multi-Task Bilevel Learning Meets Equality Constrained Multi-Objective Optimization},
author = {Zhiyao Zhang and Myeung Suk Oh and Zhen Qin and Jiaxiang Li and Xin Zhang and Jia Liu},
journal= {arXiv preprint arXiv:2605.09094},
year = {2026}
}