基于平滑 Hinge 损失的学习
机器学习
2021-03-16 v2
摘要
由于 SVM 中 Hinge 损失的非平滑性，难以用现代优化算法获得更快收敛速率。本文引入两个平滑 Hinge 损失 与 ，它们无穷可微且当 趋于 时在 上一致收敛于 Hinge 损失。以这两种平滑 Hinge 损失替代 Hinge 损失，我们分别得到两个平滑支持向量机（SSVM）。用信赖域牛顿法（TRON）求解 SSVM 得到两个二次收敛算法。文本分类任务实验表明所提 SSVM 在真实应用中有效。我们还引入一个通用平滑凸损失函数以统一机器学习中若干常用凸损失函数。该通用框架为非平滑凸损失函数提供平滑近似，可用于获得能以更快收敛优化算法求解的平滑模型。
引用
@article{arxiv.2103.00233,
title = {Learning with Smooth Hinge Losses},
author = {JunRu Luo and Hong Qiao and Bo Zhang},
journal= {arXiv preprint arXiv:2103.00233},
year = {2021}
}