通过线性样本稀疏化实现主动回归

我们提出一种方法,改善了多种曲线拟合问题的样本复杂度,包括线性回归、多项式回归的主动学习以及连续稀疏傅里叶变换。在主动线性回归问题中,给定整个无标签数据集 $X \in \mathbb{R}^{n \times d}$ 但仅观测少量标签 $y_i$,希望估计最小化 $\|X\beta - y\|_2$ 的最小二乘解 $\beta^*$。我们证明 $O(d)$ 个标签足以找到常数因子近似 $\tilde{\beta}$: $$\mathbb{E}[\|X\tilde{\beta} - y\|_2^2] \leq 2 \mathbb{E}[\|X \beta^* - y\|_2^2].$$ 这改进了杠杆得分采样的最佳先前结果 $O(d \log d)$。我们还给出了\emph{归纳}情形的结果,说明 $\tilde{\beta}$ 何时能泛化到新样本;这些适用于多项式回归等连续情形。最后,我们展示了该技术如何为非线性稀疏傅里叶变换情形带来改进结果。