利用模拟参考值验证 ML-UQ 校准统计量：一项敏感性分析
机器学习
2024-06-25 v2 机器学习
化学物理
摘要
一些流行的机器学习不确定性量化 (ML-UQ) 校准统计量没有预定义的参考值，主要用于比较研究。因此，校准几乎从未得到验证，诊断留待读者自行判断。基于源自实际不确定性的合成校准数据集提出的模拟参考值，旨在缓解这一问题。由于用于模拟合成误差的生成概率分布通常不受约束，模拟参考值对生成分布选择的敏感性可能成为问题，从而引发对校准诊断的质疑。本研究探讨了该问题的各个方面，并表明当生成分布未知时，某些统计量对用于验证的生成分布选择过于敏感。绝对误差与不确定性之间的相关系数 (CC) 和期望归一化校准误差 (ENCE) 即属此类情况。本文提出了一种稳健的验证工作流程以应对模拟参考值。
引用
@article{arxiv.2403.00423,
title = {Validation of ML-UQ calibration statistics using simulated reference values: a sensitivity analysis},
author = {Pascal Pernot},
journal= {arXiv preprint arXiv:2403.00423},
year = {2024}
}