广义类星体凸性条件下多分布优化

我们研究一个典型的优化模型，其中优化变量由多个概率分布组成。尽管该模型在实践中频繁出现，例如在策略问题中，但在一般设定下缺乏专门的分析。针对此优化问题，我们提出了一种新的结构条件/景观描述，称为广义类星体凸性（GQC），它超越了凸性的范畴。与原始的类星体凸性 \citep{hinder2020near} 相比，GQC允许每个变量块 $i$ 拥有独立的类星体凸参数 $\gamma_i$，且 $\gamma_i$ 越小意味着该块的凸性越弱。为了最小化目标函数，我们考虑一个称为内部函数的广义预言机，它包含了标准梯度预言机作为特例。我们为多分布提供了乐观镜像下降（OMD）方法，并证明当目标函数具有“类多项式”结构时，该算法能够在不预先知道 $\gamma_i$ 确切值的情况下，实现自适应的 $\tilde{\mathcal{O}}((\sum_{i=1}^d1/\gamma_i)\epsilon^{-1})$ 迭代复杂度，以找到 $\epsilon$-次优全局解。值得注意的是，它实现的迭代复杂度不显式依赖于分布的数量，并且严格快于 $(\sum_{i=1}^d 1/\gamma_i \text{ v.s. } d\max_{i\in[1:d]} 1/\gamma_i)$ 的镜像下降方法。我们还将GQC扩展到极小极大优化问题，提出了广义类星体凸-凹（GQCC）条件以及带有正则化的去中心化OMD变体。最后，我们展示了算法框架在折扣马尔可夫决策过程问题和马尔可夫博弈中的应用，为强化学习的景观分析带来了新的见解。