协变量偏移下的 PAC 预测集
机器学习
2022-03-17 v2 机器学习
摘要
现代机器学习面临的一个重要挑战是如何严格量化模型预测的不确定性。当底层数据分布发生变化并可能使预测模型失效时，传达不确定性尤为重要。然而，大多数现有的不确定性量化算法在此类偏移下会失效。我们提出了一种新方法，通过在协变量偏移存在时构造\emph{可能近似正确（PAC）}预测集来应对这一挑战。我们的方法关注这样一种设定：从源分布（我们有带标签的训练样本）到目标分布（我们希望量化其不确定性）存在协变量偏移。我们的算法假设给定编码训练样本在协变量偏移下概率如何变化的重要性权重。在实践中，重要性权重通常需要被估计；因此，我们将算法扩展到给定重要性权重置信区间的设定。我们在基于 DomainNet 和 ImageNet 的协变量偏移上展示了方法的有效性。我们的算法满足 PAC 约束，并在始终满足 PAC 约束的方法中给出了平均归一化尺寸最小的预测集。
引用
@article{arxiv.2106.09848,
title = {PAC Prediction Sets Under Covariate Shift},
author = {Sangdon Park and Edgar Dobriban and Insup Lee and Osbert Bastani},
journal= {arXiv preprint arXiv:2106.09848},
year = {2022}
}
备注
Accepted to ICLR 2022