$p$-范数线性回归上经验风险最小化的最优超额风险界

我们研究 $p \in (1, \infty)$ 时 $p$-范数线性回归问题上经验风险最小化的性能。我们证明，在可实现情形中，无需矩假设，且直至一个依赖分布的常数，$O(d)$ 个样本足以精确恢复目标。否则，对 $p \in [2, \infty)$，并在目标与协变量上的弱矩假设下，我们证明了经验风险最小化子的高概率超额风险界，其首项直至仅依赖于 $p$ 的常数与渐近精确率相匹配。在保障风险最小化子处 Hessian 存在的温和假设下，我们将该结果拓展至 $p \in (1, 2)$ 的情形。