常数后悔、广义可混合性与镜像下降

我们考虑专家建议预测的设置；学习者通过聚合一组专家的预测来做出预测。在此设置下，并针对恰当的损失函数与“混合”算法选择，学习者有可能实现与预测轮数无关的常数后悔。例如，对于可混合（mixable）损失，使用聚合算法（aggregating algorithm）可实现常数后悔。广义聚合算法（GAA）是一类由单纯形上凸函数（熵）参数化的算法族的名称，当使用香农熵（Shannon entropy）$\operatorname{S}$ 时退化为聚合算法。对于给定的熵 $\Phi$，使用 GAA 可实现常数后悔的损失称为 $\Phi$-可混合。哪些损失是 $\Phi$-可混合此前是一个开放问题。我们完整刻画了 $\Phi$-可混合性并回答了 Reid2015 提出的其他开放问题。我们表明，就可混合性而言香农熵 $\operatorname{S}$ 本质上具有基础性；任何 $\Phi$-可混合损失必然为 $\operatorname{S}$-可混合，且 GAA 的最低最坏情况后悔由香农熵实现。最后，通过利用镜像下降算法（mirror descent algorithm）与 GAA 更新步骤之间的联系，我们提出一种新的自适应广义聚合算法，并根据后悔界分析其性能。