通过依赖杠杆分数采样改进主动学习

我们展示了如何将边际杠杆分数采样与促进空间覆盖的非独立采样策略相结合,从而在不可知(对抗噪声)设定下获得改进的主动学习方法。具体而言,我们提出一种基于\emph{pivotal采样算法}的易实现方法,并在由基于学习的参数化偏微分方程与不确定性量化方法所驱动的问题上进行了测试。与独立采样相比,我们的方法将达成给定目标精度所需的样本数最多减少$50\%$。我们以两项理论结果支撑发现。首先,我们证明任何服从弱\emph{单侧$\ell_{\infty}$独立条件}(包含pivotal采样)的非独立杠杆分数采样方法,都能以$O(d\log d)$个样本主动学习$d$维线性函数,与独立采样相当。该结果推广了近期关于$\ell_{\infty}$独立下矩阵Chernoff界的工作,并可能对分析pivotal采样之外的其他采样策略有意义。其次,我们证明对于重要的多项式回归情形,我们的pivotal方法在$O(d)$个样本上获得了改进界。