通过乐观主义实现线性分离

二元线性分类自机器学习文献的早期便已被研究。或许最经典的算法是感知机（Perceptron），其维护一个用于对样本进行分类的权重向量，并在发现错误样本时进行加性更新。感知机已被充分研究，几十年来提出了若干版本。关于感知机的关键理论事实是：只要存在一个具有某个间隔 $\gamma > 0$ 的完美线性分类器，找到此类完美线性分离器所需的更新次数便以 $\frac{1}{\gamma^2}$ 为界。从未被完全解决的问题是：是否存在一种能以更少更新实现此目标的算法？本文肯定地回答了该问题：我们提出乐观感知机（Optimistic Perceptron）算法，一种以不超过 $\frac{1}{\gamma}$ 次更新找到分离超平面的简单过程。我们还通过实验表明，该过程可显著优于感知机。