一种扩展的非对称S型函数与感知机(SIGTRON)用于不平衡线性分类
机器学习
2024-05-01 v3 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
本文提出了一种新的多项式参数化S型函数,称为SIGTRON,它是一种扩展的非对称S型函数与感知机,以及其伴随的凸模型,称为SIGTRON不平衡分类(SIC)模型,该模型采用虚拟的SIGTRON诱导凸损失函数。与传统的加权代价敏感学习模型相比,SIC模型在损失函数上没有外部权重,而是在虚拟SIGTRON诱导损失函数中具有内部参数。因此,当给定的训练数据集接近考虑(尺度)类不平衡比的平衡条件时,我们证明所提出的SIC模型对数据集的变化(例如训练和测试数据集之间(尺度)类不平衡比的不一致性)具有更强的适应性。这种适应性通过一个偏斜的超平面方程得到证明,该方程通过满足最优条件的梯度的线性化产生。此外,我们通过开发基于区间的二分线搜索,提出了一种用于虚拟凸损失的拟牛顿优化(L-BFGS)框架。实验上,我们观察到所提出的方法在测试分类准确率方面优于(或与)加权凸焦点损失和平衡分类器LIBLINEAR(逻辑回归、SVM和L2SVM)相当,使用了51个二类数据集和67个多类数据集。在二分类问题中,当训练数据集的尺度类不平衡比不显著但存在不一致性时,每个数据集上测试准确率最佳的SIC模型组(TOP1)优于LIBSVM(C-SVC with RBF kernel),一种著名的基于核的分类器。
引用
@article{arxiv.2312.16043,
title = {An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification},
author = {Hyenkyun Woo},
journal= {arXiv preprint arXiv:2312.16043},
year = {2024}
}
备注
26 pages, 9 figures, revised version