线性样本复杂度下单指数模型的不可知主动学习

我们研究了针对形式为$F({\mathbf x}) = f(\langle {\mathbf w}, {\mathbf x}\rangle)$的单指数模型的主动学习方法，其中$f:\mathbb{R} \to \mathbb{R}$且${\mathbf x},{\mathbf w} \in \mathbb{R}^d$。除了在理论上作为简单非线性神经网络的示例外，单指数模型因在科学机器学习中如偏微分方程(PDEs)的代理建模等应用而受到广泛关注。此类应用需要对抗性噪声鲁棒的样本高效主动学习方法。我们为不可知主动学习的单指数模型提供了两个主要结果。首先，当$f$已知且满足 Lipschitz 条件时，我们表明通过统计杠杆得分抽样获取的$\tilde{O}(d)$个样本足以学习一个接近最优的单指数模型。杠杆得分抽样易于实现、高效，并且广泛用于主动学习线性模型。我们的结果不对数据分布做任何假设，保持在对数因子的最优性，并在最近的${O}(d^{2})$界限\cite{gajjar2023active}上实现二次改进。其次，我们表明即使在$f$未知的更困难设置下，$\tilde{O}(d)$个样本也足以学习。我们的结果利用了高维概率工具，包括 Dudley 不等式和双 Sudakov 小极大原理，以及一种新颖的、分布感知的 Lipschitz 函数类的离散化方法。