基于切割平面法的平滑排序 SVM
机器学习
2024-01-26 v1
摘要
最流行的分类算法旨在训练期间最大化分类准确率。然而，这种策略在存在类别不平衡的情况下可能会失败，因为可以通过过拟合多数类来训练出高准确率的模型。另一方面，曲线下面积（AUC）是在存在类别不平衡时比较不同算法分类性能的广泛使用的度量标准，并且已经提出了各种专注于在训练期间直接优化该度量标准的方法。其中，基于 SVM 的公式尤其受欢迎，因为这种公式允许轻松地结合不同的正则化策略。在这项工作中，我们开发了一种原型学习方法，该方法依赖于切割平面法（类似于排序 SVM）来最大化 AUC。我们的算法通过迭代引入切割平面来学习更简单的模型，从而以一种非常规的方式防止过拟合。此外，它在每次迭代时惩罚权重的变化，以避免可能在测试性能中观察到的大幅跳跃，从而促进平滑的学习过程。基于在 73 个二分类数据集上进行的实验，我们的方法在 25 个数据集上取得了其相关竞争者中最佳的测试 AUC。
引用
@article{arxiv.2401.14388,
title = {Smooth Ranking SVM via Cutting-Plane Method},
author = {Erhan Can Ozcan and Berk Görgülü and Mustafa G. Baydogan and Ioannis Ch. Paschalidis},
journal= {arXiv preprint arXiv:2401.14388},
year = {2024}
}