二值核逻辑回归：稀疏诱导公式与收敛分解训练算法
机器学习
2025-12-23 v1 最优化与控制
摘要
核逻辑回归(KLR)是一种广泛用于二分类和多分类的监督学习方法，提供数据点成员资格条件概率的估计。与支持向量机(SVM)等其他核方法不同，KLR通常不稀疏。实现KLR稀疏性的先前尝试包括称为Import Vector Machine(IVM)的启发式方法和基于的正则化。实现预测准确性和稀疏性之间的良好权衡仍然具有挑战性，且可能对应用层面产生显著影响。在本工作中，我们重新审视了二值KLR，提出了对Keerthi等人提出的训练公式的扩展，能够在保持良好测试准确性的同时诱导出训练模型的稀疏性。为高效求解该公式的对偶形式，我们设计了一种序列最小化优化(SMO)类型的分解算法，该算法利用二阶信息，并为其建立了全局收敛性。在12个来自文献的数据集上的数值实验表明，所提出的二值KLR方法在IVM、基于的KLR正则化和SVM之间，在准确性和稀疏性之间实现了竞争性的权衡，同时保留了提供有关成员资格概率估计的优势。
引用
@article{arxiv.2512.19440,
title = {Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm},
author = {Antonio Consolo and Andrea Manno and Edoardo Amaldi},
journal= {arXiv preprint arXiv:2512.19440},
year = {2025}
}