符号约束的正则化损失最小化
机器学习
2017-10-13 v1 人工智能
摘要
在实际分析中，关于分析目标的领域知识往往已有积累，然而在统计分析阶段这些知识通常被丢弃，统计工具被当作黑盒使用。在本文中，我们引入了符号约束，这是一种面向非专家的通用学习问题的简便表示。我们通过在原始 Pegasos 和 SDCA 中分别简单插入符号校正步骤，开发了两种用于符号约束正则化损失最小化的新优化算法，分别称为符号约束 Pegasos(SC-Pega)和符号约束 SDCA(SC-SDCA)。我们给出的理论分析保证了插入符号校正步骤不会降低两种算法的收敛速度。我们展示了符号约束学习有效的两个应用。其一是利用解释变量与目标变量之间相关性的先验信息。其二是将符号约束引入 SVM-Pairwise 方法。实验结果表明，在两种应用中引入符号约束均显著提升了泛化性能。
引用
@article{arxiv.1710.04380,
title = {Sign-Constrained Regularized Loss Minimization},
author = {Tsuyoshi Kato and Misato Kobayashi and Daisuke Sano},
journal= {arXiv preprint arXiv:1710.04380},
year = {2017}
}