学习博弈与 Rademacher 观测损失

最近研究表明，使用流行的逻辑损失进行监督学习等价于在关于类别的充分统计量上优化指数损失：Rademacher 观测（rados）。我们首先证明这种意外的等价性实际上可以推广到其他样本/rado 损失，并给出该等价性的充要条件，以四个在不同领域广为人知的损失为例：指数损失（提升）、均值-方差（金融）、线性铰链（在线学习）、ReLU（深度学习）以及非铰链（统计学）。其次，我们表明该推广揭示了一种与正则化学习的惊人新联系，特别是一个充分条件：在此条件下，对样本上的损失进行正则化等价于在等价的 rado 损失中对 rados 进行正则化（使用闵可夫斯基和）。这带来了用于稀疏控制正则化的简单而强大的基于 rado 的学习算法，我们以正则化指数 rado 损失的提升算法为例，该算法在形式上对四种正则化类型进行提升，包括流行的 ridge 和 lasso，以及最近提出的 slope——我们获得了针对最后这种正则化的首个被证明的提升算法。通过我们在 rado 与基于样本的损失等价性上的首要贡献，Omega-R.AdaBoost~似乎是一种高效的代理，可使用四种正则化器中的任意一种来提升基于样本的正则化逻辑损失。实验表明，正则化持续改善了基于 rado 的学习的性能，并且即使在小的 rados 集合上学习时，也可能挑战或击败基于样本的学习的 state of the art。最后，我们将正则化与差分隐私联系起来，并展示了如何在大数据域上承担微小预算，同时击败（受保护的）基于样本的学习。