针对不可忽略不利偏移的检验
机器学习
2022-08-10 v4 机器学习
统计方法学
摘要
用于数据集偏移的统计检验容易产生误报：当事实上样本覆盖和预测性能充足时，它们对微小差异敏感。我们转而提出一种基于离群值分数的检测不利数据集偏移的框架，简称 D-SOS。D-SOS 认为新(测试)样本并不比参考(训练)样本实质性更差，而非两者相等。其核心思想是将观测约简为离群值分数，并比较不同加权阈值下的污染率。用户可根据相关的离群性概念(包括预测性能的代理指标)定义“更差”的含义。与等分布检验相比，我们的方法独特地适用于作为模型监控和数据验证的鲁棒度量。我们在大量真实和模拟数据上展示了 D-SOS 的通用性与实用性。
引用
@article{arxiv.2107.02990,
title = {Test for non-negligible adverse shifts},
author = {Vathy M. Kamulete},
journal= {arXiv preprint arXiv:2107.02990},
year = {2022}
}
备注
Accepted at UAI 2022