proper loss的最坏情况 regret不低于1/2阶

机器学习中的一个基本挑战是损失函数的选择, 因为它定义了我们的学习任务, 在训练阶段被最小化, 且作为评估估算器的准则。常选用proper loss, 以确保完全风险的最小化者与真实概率向量相匹配。由proper loss诱导的估计器广泛用于构建用于分类和排序等下游任务的预测器。在此过程中, 基于所获得估计器的预测器在给定下游任务下如何表现良好?这一问题与估计概率向量与真实概率向量之间p范数行为在估计器更新时的关系密切相关。在proper loss框架下, 估计概率向量与真实概率向量之间的次优性由代理regret衡量。首先, 我们分析了代理regret, 并指出严格proper性质是建立非空的代理regret界限的必要且充分条件。其次, 我们解决了一个重要的开放问题: 对于广泛的严格proper loss类别, p范数中的收敛阶数不能快于代理regret的$1/2$-阶。这意味着strongly proper loss具有最优收敛速率。