真实世界权重交叉熵损失函数：对误标成本的建模
机器学习
2020-01-07 v1 人工智能
机器学习
摘要
在本文中，我们提出一种用于衡量分类器拟合优度的新指标——真实世界成本函数(Real World Cost function)。该指标纳入了诸如财务影响等真实世界问题的信息，而准确率或 F1 等其他度量未考虑这些信息。该指标对用户也更具直接可解释性。为优化该指标，我们引入了真实世界权重交叉熵(Real-World-Weight Crossentropy)损失函数，包含二分类与单标签分类两种变体。两种变体均允许将真实世界成本作为权重直接输入。对于单标签多类别分类，我们的损失函数在机器学习模型训练期间还允许按标签对概率假阳性进行直接惩罚。我们将该损失函数的设计与二分类交叉熵、类别交叉熵函数及其加权变体进行比较，以探讨其在处理机器学习各类已知缺陷（从类别不平衡到医疗诊断错误再到社会偏见强化）方面的改进潜力。我们使用 MNIST 数据集构建模拟上述问题的场景，并展示了新损失函数的实证结果。最后，我们基于最大似然估计给出了该函数的证明概要，并讨论了未来方向。
引用
@article{arxiv.2001.00570,
title = {The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of Mislabeling},
author = {Yaoshiang Ho and Samuel Wookey},
journal= {arXiv preprint arXiv:2001.00570},
year = {2020}
}
备注
Submitted to IEEE Access