分箱缩放能否提升机器学习回归预测不确定性的consistency与adaptivity？
机器学习
2023-10-25 v2 机器学习
化学物理
数据分析、统计与概率
摘要
分箱方差缩放（Binwise Variance Scaling, BVS）最近被提出作为一种针对机器学习回归问题预测不确定性的事后重校准方法，其能够进行比均匀方差（或温度）缩放更高效的修正。BVS的原始版本采用基于不确定性的分箱，旨在有条件地针对不确定性进行校准，即consistency。本文在此探讨BVS的若干改进方案，特别是采用替代损失函数以及基于输入特征（X）的分箱方案，以提升adaptivity，即针对X的条件校准。BVS及其所提变体的性能在一个用于预测原子化能的基准数据集上进行了测试，并与等渗回归（isotonic regression）的结果进行了比较。
引用
@article{arxiv.2310.11978,
title = {Can bin-wise scaling improve consistency and adaptivity of prediction uncertainty for machine learning regression ?},
author = {Pascal Pernot},
journal= {arXiv preprint arXiv:2310.11978},
year = {2023}
}
备注
This version corrects an error in the estimation of the Sx scores for the test set, affecting Fig. 2 and Tables I-III of the initial version. The main points of the discussion and the conclusions are unchanged