通过结构化函数逼近降低情境随机双层优化的问题

情境随机双层优化（Contextual Stochastic Bilevel Optimization, CSBO）通过纳入情境依赖的下层问题来扩展标准随机双层优化（SBO）。由于现有方法需要为每个抽样情境求解不同的下层问题，导致样本和计算复杂度不可接受，此外还依赖于不可行的条件抽样 oracle。我们提出一种降低框架，通过对下层解进行基于可表达基函数的逼近，从而解耦下层对情境的依赖，将 CSBO 转化为可使用仅来自情境与噪声分布联合抽样的标准 SBO 问题。首先，我们证明该降解保留了超梯度精度，能得到 CSBO 的 $\epsilon$ 稳态解。随后，我们将降解问题的样本复杂度与基函数的简单度量相关联。这建立了基函数能以近最优复杂度 $\widetilde{O}(\epsilon^{-3})$ 获得 $\epsilon$ 稳态解的充分条件。此外，我们表明切比雪夫多项式是广泛问题类的基函数选择，满足上述条件。实验结果表明，在逆问题和超参数优化中，我们的方法在收敛性、样本效率和内存使用方面均优于 CSBO baseline。