回归的全能预测器与凸函数的近似秩

考虑监督学习设定，其目标是从一个分布中学习，根据点 $\mathbf x$ 预测标签 $\mathbf y$。对于损失函数类 $\mathcal L$ 和假设类 $\mathcal C$，一个全能预测器是指其预测对 $\mathcal L$ 中的每一个损失函数所导致的期望损失都小于 $\mathcal C$ 中的最佳假设。自 [GKR+21] 提出该概念以来，已有大量工作集中于二值标签（$\mathbf y \in \{0, 1\}$）的设定，但对回归设定（$\mathbf y \in [0,1]$ 可为连续值）知之甚少。我们主要的概念贡献是提出了针对一族损失函数进行损失最小化的充分统计量概念：这是一组关于分布的统计量，知晓它们便允许人们采取行动，以最小化该族中任何损失的期望损失。充分统计量的概念与损失函数族的近似秩直接相关。我们的关键技术贡献是证明了区间 $[0,1]$ 上凸 Lipschitz 函数的 $\epsilon$-近似秩的界为 $O(1/\varepsilon^{2/3})$，并证明该界在 $\mathrm{polylog} (1/\epsilon)$ 因子内是紧的。这改进了在关于假设类 $\mathcal C$ 的弱可学习性假设下，学习所有凸 Lipschitz 损失函数类的全能预测器的运行时间。当损失函数族具有低次多项式近似或源于广义线性模型 (GLM) 时，我们也给出了高效的全能预测器。通过将 [GKH+23] 为布尔标签引入的损失结果不可区分性技术提升到回归设定，使得从充分统计量到更快全能预测器的转化成为可能。