一种可扩展的主动学习算法

FIRAL 是一种近期提出的确定性主动学习算法，用于多类分类中的逻辑回归。该算法在准确率和鲁棒性方面均优于当前最先进方法，并具备理论性能保证。然而，由于其存储复杂度为 $\mathcal{O}(c^2d^2+nc^2d)$ 和计算复杂度为 $\mathcal{O}(c^3(nd^2 + bd^3 + bn))$（其中 $b$ 为主动学习中要选择的点数），在处理数据集规模大的场景时（包括大量点 $n$、维度 $d$ 和类别 $c$）时表现有限。为此，我们提出一种近似算法，其存储需求降至 $\mathcal{O}(n(d+c) + cd^2)$，计算复杂度为 $\mathcal{O}(bncd^2)$。此外，我们实现了在 GPU 上的并行版本。我们使用 MNIST、CIFAR-10、Caltech101 和 ImageNet 数据集展示了该方法的准确率和可扩展性。准确性测试结果表明，与 FIRAL 相比，准确率未出现下降。我们对三百万点人工合成数据集在 12 个 GPU 上的强缩放和弱缩放进行了测试。