基于汉明查询序列重构的最优多类过拟合

机器学习中测试数据集被过度复用的主要担忧是会导致过拟合。最近研究表明多类分类比二分类更抗过拟合。在 COLT 2019 的一个开放问题中，Feldman、Frostig 与 Hardt 要求刻画过拟合偏置量对类别数 $m$、准确率查询数 $k$ 与数据集样本数 $n$ 的依赖关系。我们解决了该问题并确定了多类分类中可能的过拟合量。我们提供了计算高效的算法，实现了 $\tilde{\Theta}(\max\{\sqrt{{k}/{(mn)}}, k/n\})$ 的过拟合偏置，与已知上界匹配。