有限专家建议下的预测快率

我们研究在随机设定下、有限信息访问条件下，相对于有限族中最佳专家预测的最小化超额泛化误差问题。我们假设学习器在每轮训练及预测时仅能访问有限数量的专家建议。假设损失函数为 Lipschitz 且强凸，我们证明若在训练阶段 T 轮中每轮仅能查看一位专家的建议，或在测试阶段预测时仅能使用一位专家的建议，则最坏情况超额风险为 $\Omega$(1/ \sqrt T)，其概率下界为一个常数。然而，若每轮训练允许查看至少两个主动选择的专家建议，且预测时使用至少两个专家，则可实现快率 O(1/T)。我们设计了在该设定下以及学习器对观测专家建议总数有预算约束的设定中实现此速率的新算法，并给出了达到给定泛化误差精度所需的训练轮数与查询次数的精确实例依赖界。