面向单标签多类分类任务的优越评分规则
系统与控制
2024-07-26 v1 系统与控制
摘要
本研究引入了新型的优越评分规则，称为惩罚性 Brier 评分 (PBS) 和惩罚性对数损失 (PLL)，以提高概率分类模型的评估效果。传统评分规则如 Brier 评分和对数损失在某些情况下会为错误分类赋予更高的分数，而对正确分类的奖励不足。这一与实际偏好不符的现象可能导致模型选择次优。通过引入对错误分类的惩罚，PBS 和 PLL 修改了传统的 proper scoring rules，使其能够始终为正确预测分配更高的分数。形式证明表明，PBS 和 PLL 满足严格的 proper scoring rule 属性，同时也优先奖励准确的分类。实验结果展示了在模型选择、模型检查点和提前停止方面使用 PBS 和 PLL 的优势。PBS 在训练过程中与 F1 分数的负相关性高于 Brier 评分，从而更有效地识别最佳检查点和提前停止点，从而实现更高的 F1 分数。比较分析验证，使用 PBS 和 PLL 所选模型取得了优异的 F1 分数。因此，PBS 和 PLL 弥合了不确定性量化与准确性最大化之间的差距，通过结合 proper scoring 原则和对真实分类的明确偏好来实现。所提出的指标可增强可靠概率分类的模型评估与选择。
引用
@article{arxiv.2407.17696,
title = {Satellite Internet of Things Research Report},
author = {Zhang Shutao},
journal= {arXiv preprint arXiv:2407.17696},
year = {2024}
}