鲁棒支持向量机的安全样本筛选
机器学习
2019-12-25 v1 机器学习
摘要
鲁棒支持向量机（RSVM）已被证明在噪声环境下能显著提升支持向量机的泛化性能。然而，为了处理RSVM中由斜坡损失引起的非凸性，现有RSVM求解器通常采用DC规划框架，其多次外循环的运算效率低下。这阻碍了RSVM在大规模问题中的应用。安全样本筛选允许在训练过程之前或早期排除训练样本，是大幅减少计算时间的有效方法。然而，现有的安全样本筛选算法仅限于凸优化问题，而RSVM是一个非凸问题。为应对这一挑战，本文基于凹凸过程（CCCP）框架提出了两种针对RSVM的安全样本筛选规则。具体而言，我们为CCCP的内层求解器提供了一种筛选规则，并为在CCCP两个连续求解器之间传播已筛选样本提供了另一种规则。据我们所知，这是首个将安全样本筛选应用于非凸优化问题的工作。更重要的是，我们为针对RSVM的样本筛选规则提供了安全性保证。在多个基准数据集上的实验结果验证了我们的安全样本筛选规则能显著减少计算时间。
引用
@article{arxiv.1912.11217,
title = {Safe Sample Screening for Robust Support Vector Machine},
author = {Zhou Zhai and Bin Gu and Xiang Li and Heng Huang},
journal= {arXiv preprint arXiv:1912.11217},
year = {2019}
}