斯托克斯扩展对抗模型的参数自由算法

我们发展了针对 Stochastically Extended Adversarial (SEA) 模型的第一个参数自由算法，该框架桥接了对抗性和随机在线凸优化。现有方法需要问题特定参数的先验知识，如域直径 D 和损失函数 Lipschitz 常数 G，这限制了其实际应用。针对此问题，我们通过利用 Optimistic Online Newton Step (OONS) 算法开发了参数自由的方法，以消除这些参数的需求。我们首先建立一个在域直径未知但 Lipschitz 常数已知的情形下的比较自适应算法，实现预期 regret 上界为 $\tilde{O}\big(\|u\|_2^2 + \|u\|_2(\sqrt{\sigma^2_{1:T}} + \sqrt{\Sigma^2_{1:T}})\big)，其中 u 为比较向量，$\sigma^2_{1:T}$和$\Sigma^2_{1:T}$分别表示累积随机方差和累积对抗性变动。我们随后将其扩展至更一般的情形，即 D 和 G 均为未知情况，实现比较和 Lipschitz 自适应算法。值得注意的是，regret 上界对$\sigma^2_{1:T}$和$\Sigma^2_{1:T}$ 的依赖性表明，即使在 SEA 模型中两个参数均为未知情况，我们所提出的方法也同样有效。