Weston-Watkins 铰链损失与有序划分
机器学习
2020-06-15 v1 机器学习
最优化与控制
摘要
支持向量机(SVM)的多类扩展已以多种方式被形式化。近期一项对九种此类形式的实证比较 [Doğan et al. 2016] 推荐了 Weston 和 Watkins(WW)提出的变体,尽管 WW 铰链损失相对于 0-1 损失并未被校准。在这项工作中,我们为多类分类引入了一种新颖的离散损失函数——有序划分损失,并证明了 WW 铰链损失相对于此损失是被校准的。我们还论证了,在满足此性质的离散损失中,有序划分损失具有最大的信息量。最后,我们应用我们的理论来论证 Doğan 等人所做的实证观察,即 WW-SVM 即使在大规模标签噪声下也能表现良好,而这对多类 SVM 来说是一个具有挑战性的设置。
引用
@article{arxiv.2006.07346,
title = {Weston-Watkins Hinge Loss and Ordered Partitions},
author = {Yutong Wang and Clayton D. Scott},
journal= {arXiv preprint arXiv:2006.07346},
year = {2020}
}
备注
38 pages, 3 figures