通过高阶矩实现批量列表可解码线性回归

我们研究了使用批量进行列表可解码线性回归的任务。当一批由来自未知线性回归分布的独立同分布样本组成时，称该批为干净批。对于参数 $\alpha \in (0, 1/2)$，未知比例为 $\alpha$ 的批是干净的，对其余的批不做任何假设。目标是输出一个向量列表，其中至少有一个向量在 $\ell_2$ 范数下接近真实回归向量。[DJKS23] 在自然的分布假设下给出了一个高效算法，其保证如下：假设批量大小 $n$ 满足 $n \geq \tilde{\Omega}(\alpha^{-1})$ 且批次数为 $m = \mathrm{poly}(d, n, 1/\alpha)$，其算法在多项式时间内运行并输出一个大小为 $O(1/\alpha^2)$ 的列表，其中至少有一个向量与目标回归向量的距离为 $\tilde{O}(\alpha^{-1/2}/\sqrt{n})$。在此，我们设计了一个新的多项式时间算法，在假设协变量分布的低阶矩可被 Sum-of-Squares（SoS）认证有界的前提下，具有显著更强的保证。具体而言，对于任意常数 $\delta>0$，只要批量大小 $n \geq \Omega_{\delta}(\alpha^{-\delta})$ 且协变量的 $\Theta(1/\delta)$ 阶矩可被 SoS 认证有界，我们的算法使用 $m = \mathrm{poly}((dn)^{1/\delta}, 1/\alpha)$ 个批，在多项式时间内运行，并输出一个大小为 $O(1/\alpha)$ 的列表，其中一个向量与目标的距离为 $O(\alpha^{-\delta/2}/\sqrt{n})$。即，我们的算法实现了显著更小的最小批量大小和最终误差，同时达到了最优列表大小。我们的方法通过仔细结合 SoS 范式与迭代方法和一种新颖的列表剪枝程序来利用高阶矩信息。在此过程中，我们给出了 Marcinkiewicz-Zygmund 不等式的 SoS 证明，该证明可能具有更广泛的适用性。