基于随机注意力聚焦的快速学习

我们提出了一种方法，当完整评估的结果显而易见时，可以停止决策过程的评估。这一特性对于在线基于间隔的机器学习算法非常理想，因为传统上分类器会对每个样本评估所有特征。我们观察到，有些样本比其他样本更容易分类，这一现象的特征是大多数特征对样本的类别意见一致。通过在遇到易于分类的样本时停止特征评估，学习算法可以在计算上获得显著增益。我们的方法为学习算法提供了一种自然的注意力机制。通过修改 Pegasos（一种基于间隔的在线学习算法）以包含我们的注意力方法，我们将每个样本计算的平均属性数量从 $n$ 降低到 $O(\sqrt{n})$，且预测精度没有损失。我们在 MNIST 数据上展示了 Attentive Pegasos 的有效性。