基于 Venn-Abers 的良好校准概率预测性维护
机器学习
2023-06-13 v1 人工智能
摘要
在使用机器学习进行故障检测时，一个常见问题是大多数数据集非常不平衡，少数类（故障）才是令人关注的部分。本文研究 Venn-Abers 预测器的使用，特别关注其对少数类预测的影响。Venn-Abers 预测器的一个关键特性是输出良好校准的概率区间。在实验中，我们将 Venn-Abers 校准应用于决策树、随机森林和 XGBoost 模型，展示了过度自信和缺乏自信的模型均得到纠正。此外，还展示了将 Venn-Abers 产生的有效概率区间用于决策支持的好处。当使用产生不透明底层模型的技术（例如随机森林和 XGBoost）时，每次预测不仅包含标签，还包含一个有效概率区间，其宽度表示对估计值的置信度。在决策树之上叠加 Venn-Abers 允许对模型进行检查和分析，以理解底层关系，并找出在特征空间的哪些部分模型是准确的和/或自信的。
引用
@article{arxiv.2306.06642,
title = {Well-Calibrated Probabilistic Predictive Maintenance using Venn-Abers},
author = {Ulf Johansson and Tuwe Löfström and Cecilia Sönströd},
journal= {arXiv preprint arXiv:2306.06642},
year = {2023}
}