支持向量机的 Dropout 训练
机器学习
2014-04-17 v1
摘要
Dropout 和其他特征噪声方案已通过人为破坏训练数据，在控制过拟合方面显示出令人鼓舞的结果。尽管已对广义线性模型进行了广泛的理论和实证研究，但针对支持向量机 (SVM)（最成功的监督学习方法之一）的工作却很少。本文提出了线性 SVM 的 dropout 训练方法。为了处理破坏分布下非光滑 hinge 损失的难解期望问题，我们通过探索数据增强技术开发了一种迭代重加权最小二乘 (IRLS) 算法。我们的算法迭代地最小化重加权最小二乘问题的期望，其中权重具有闭式解。类似的思想也被应用于开发针对破坏分布下期望 logistic 损失的新 IRLS 算法。我们的算法揭示了 dropout 训练中 hinge 损失与 logistic 损失之间的联系与区别。在几个真实数据集上的实证结果表明，dropout 训练能显著提高线性 SVM 的分类准确率。
引用
@article{arxiv.1404.4171,
title = {Dropout Training for Support Vector Machines},
author = {Ning Chen and Jun Zhu and Jianfei Chen and Bo Zhang},
journal= {arXiv preprint arXiv:1404.4171},
year = {2014}
}