Logitron：基于扩展逻辑损失函数的感知机增强分类模型

分类是数据分析中最重要的过程。然而，由于分类模型的零一损失函数固有的非凸和非光滑结构，人们引入了各种凸替代损失函数，如铰链损失、平方铰链损失、逻辑损失和指数损失。这些损失函数在多种分类模型中已使用数十年，例如带铰链损失的SVM（支持向量机）、带逻辑损失的逻辑回归以及带指数损失的Adaboost等。在本工作中，我们提出一种感知机增强的凸分类框架，即Logitron。其损失函数是由扩展逻辑损失与著名的感知机损失函数平滑拼接而成的函数。扩展逻辑损失函数是基于扩展对数函数和扩展指数函数建立的参数化函数。所提出的Logitron分类模型的主要优势在于，它通过损失函数的多项式参数化展示了SVM与逻辑回归之间的联系。更具体地，根据参数的选择，我们得到Hinge-Logitron（具有广义$k$阶铰链损失及附加的$k$次根稳定函数）和Logistic-Logitron（具有类似逻辑的损失函数且$|k|$相对较大）。有趣的是，即使$k=-1$，Hinge-Logitron也满足分类校准条件，并以较低计算成本展现出合理的分类性能。线性分类器框架中的数值实验表明，带有$k=4$的Hinge-Logitron（带四次根稳定函数的四阶SVM）在分类准确率上优于逻辑回归、SVM及其他Logitron模型。