基于神经网络的主动学习：来自非参数统计的见解

深度神经网络具有强大的表示能力，但通常需大量训练样本。这催生了能显著减少标注训练数据量的深度主动学习方法。近期文献报道了深度主动学习的经验成功，然而其严格的标注复杂度保证一直难以捉摸。这构成了理论与实践之间的显著差距。本文通过提供首个深度主动学习的近最优标注复杂度保证来解决此差距。关键见解是从非参数分类视角研究深度主动学习。在标准低噪声条件下，我们表明使用神经网络的主动学习可证明达到极小极大标注复杂度，至多相差不一致系数和其他对数项。当配备弃选选项时，我们进一步开发了高效的深度主动学习算法，在无任何低噪声假设下实现 $\mathsf{polylog}(\frac{1}{\epsilon})$ 标注复杂度。我们还将结果扩展到常见研究的 Sobolev/H\"older 空间之外，并针对 Radon $\mathsf{BV}^2$ 空间中的学习给出标注复杂度保证，该空间最近被提出作为与神经网络相关的自然函数空间。