StaDRe 与 StaDRo：基于统计距离度量的基于 ML 的预测可靠性与鲁棒性估计

机器学习（ML）模型的可靠性估计正成为一个关键课题。当此类模型部署于安全关键应用时尤其如此，因为基于模型预测的决断可能导致危险情形。在这方面，近期研究提出了实现安全、可靠且可信赖 ML 系统的方法。其中一种方法包括检测和分析分布偏移，然后度量此类系统对这些偏移的响应。这在早前 SafeML 的工作中已被提出。本文聚焦于在安全关键应用中将 SafeML 用于时间序列数据，以及基于统计距离度量对 ML 预测方法进行可靠性与鲁棒性估计。为此，探索了 SafeML 中提出的基于经验累积分布函数（ECDF）的距离度量，以度量跨时间序列的统计距离相异度（SDD）。随后我们提出基于 SDD 的可靠性估计（StaDRe）和基于 SDD 的鲁棒性（StaDRo）度量。借助聚类技术，识别训练期间所见数据的统计属性与预测之间的相似性。所提方法能够将数据集 SDD 与 ML 模型的关键性能指标（KPIs）联系起来。