Rademacher 观测、私有数据与 Boosting

logistic loss 的最小化是批监督学习的一种流行方法。我们的论文从一个令人惊讶的观察开始：当拟合线性（或核化）分类器时，logistic loss 的最小化等价于一个指数 rado-loss 的最小化，该 rado-loss 计算于（i）我们称之为 Rademacher 观测（rados）的变换数据上，以及（ii）与 logistic loss 相同的分类器上。因此，从 rados 学习到的分类器可直接用于分类观测数据。我们提供了一种在 rados 上的学习算法，该算法在 logistic loss（计算于样本上）上具有符合 Boosting 的收敛速率。在多达数百万样本的领域上的实验，在理论论证的支持下，表明在一小组随机 rados 上的学习可以挑战在完整样本集上学习的当前最优（SOTA）方法。我们展示 rados 符合各种隐私要求，使其成为隐私框架中机器学习的良好候选。我们给出了从 rados 重建样本的若干代数、几何和计算硬度结果。我们还展示了如何在差分隐私框架中精心构造并高效学习 rados。测试揭示，从差分隐私 rados 学习可以与从随机 rados 学习相竞争，从而与从样本批学习相竞争，实现非平凡的隐私-准确性权衡。