放宽独立同分布假设：通过根熵正则化自适应达到极小极大最优遗憾

我们考虑当数据由在未知约束集内任意变化的分布生成时的专家建议预测。这一半对抗设定包含（在两个极端处）经典 i.i.d. 设定（当未知约束集被限制为单点集）和无约束对抗设定（当约束集为所有分布的集合）。Hedge 算法——早已已知在对抗机制下是极小极大（速率）最优的——最近被证明对 i.i.d. 数据同时是极小极大最优的。在这项工作中，我们提议通过在对约束集的自然序的所有层次上寻求自适应性来放宽 i.i.d. 假设。我们给出了所有层次上极小极大遗憾的匹配上下界，表明具有确定性学习率的 Hedge 在极端情形之外是次优的，并证明人们可以在所有层次上自适应地获得极小极大遗憾。我们使用跟随正则化领导者（FTRL）框架实现了这种最优自适应性，采用一种新颖的自适应正则化方案，其隐式地以当前预测分布的熵的平方根为尺度，而非初始预测分布的熵。最后，我们提供了新颖的技术工具来研究 FTRL 沿半对抗谱的统计性能。