上下文随机双层优化
最优化与控制
2023-10-31 v1 机器学习
摘要
我们引入上下文随机双层优化（CSBO）——一种随机双层优化框架，其下层问题最小化在给定上下文信息与上层级决策变量条件下的期望。该框架扩展了经典随机双层优化，当下层决策者不仅对上层决策者的决策做出最优响应，还对某些侧信息做出最优响应，且存在多个甚至无限多个跟随者时适用。它涵盖了元学习、个性化联邦学习、端到端学习以及带侧信息的 Wasserstein 分布鲁棒优化（WDRO-SI）等重要应用。由于上下文信息的存在，现有的经典随机双层优化单循环方法无法收敛。为克服此挑战，我们提出一种基于多层蒙特卡洛（MLMC）技术的高效双循环梯度方法，并确立了其样本与计算复杂度。当特化到随机非凸优化时，我们的方法与现有下界匹配。对于元学习，我们方法的复杂度不依赖于任务数量。数值实验进一步验证了我们的理论结果。
引用
@article{arxiv.2310.18535,
title = {Contextual Stochastic Bilevel Optimization},
author = {Yifan Hu and Jie Wang and Yao Xie and Andreas Krause and Daniel Kuhn},
journal= {arXiv preprint arXiv:2310.18535},
year = {2023}
}
备注
The paper is accepted by NeurIPS 2023