关于二次加权 Kappa 的直接最大化
机器学习
2015-12-08 v3
摘要
近年来，二次加权 Kappa（quadratic weighted kappa）在机器学习社区中作为一种评估指标日益流行，应用于目标标签来自整数评分（通常由人类专家给出）的领域。例如，它是 Kaggle 上最近几个高关注度机器学习竞赛所选择的指标：https://www.kaggle.com/c/asap-aes ， https://www.kaggle.com/c/asap-sas ， https://www.kaggle.com/c/diabetic-retinopathy-detection 。然而，关于该指标的本质、其潜在数学性质、它在其他常见评估指标（如均方误差（MSE）和相关系数）中的位置，或者它是否可以被解析优化以及如何处理，人们知之甚少。这在很大程度上归因于该指标通常定义方式的繁琐。在本文中，我们首先推导出二次加权 Kappa 的一个等价但更简单且更有用的定义，然后利用这种替代形式解决上述问题。
引用
@article{arxiv.1509.07107,
title = {On The Direct Maximization of Quadratic Weighted Kappa},
author = {David Vaughn and Derek Justice},
journal= {arXiv preprint arXiv:1509.07107},
year = {2015}
}
备注
realized some inaccuracies, and some sloppy reasoning. Need some time to fix