论加速感知机及其超越

Rosenblatt 的经典感知机算法可用于寻找一个线性阈值函数以正确分类 $n$ 个线性可分数据点，假设各类别由某个间隔 $\gamma > 0$ 分离。一个基础性结果是感知机在 $\Omega(1/\gamma^{2})$ 次迭代后收敛。近期若干工作通过更复杂的算法将该速率改进了二次因子，达到 $\Omega(\sqrt{\log n}/\gamma)$。在本文中，我们在一个统一框架下整合这些现有结果，表明它们都可以通过使用现代加速技术（主要通过乐观在线学习）求解极小极大问题的视角来描述。我们进而展示所提框架也为标准感知机设定之外的一系列问题带来了改进结果。具体而言，a) 对于间隔最大化问题，我们将最优结果从 $O(\log t/t^2)$ 改进到 $O(1/t^2)$，其中 $t$ 为迭代次数；b) 我们提供了关于经典 Nesterov 加速梯度下降（NAG）算法的隐式偏置性质的首个结果，并展示 NAG 能以 $O(1/t^2)$ 的速率最大化间隔；c) 对于经典 $p$-范数感知机问题，我们提供了收敛速率为 $\Omega(\sqrt{(p-1)\log n}/\gamma)$ 的算法，而现有算法的收敛速率为 $\Omega({(p-1)}/\gamma^2)$。