中文

数据投毒环境下可靠保守预测集的证明

机器学习 2025-03-18 v4

摘要

保守预测提供了一种模型无关且分布自由的不确定性定量方法,通过保证预测集包含真实标签的任意指定概率来实现。然而,在投毒攻击下(即对手操纵训练数据和校准数据),保守预测不可靠,这在实践中会显著改变预测集。作为解决方案,我们提出可靠预测集(RPS):首个在数据投毒环境下具有可证明可靠性保证的高效方法,用于构建保守预测集。为确保在训练投毒下的可靠性,我们引入平滑得分函数,通过聚合在训练数据的不同子集上训练的分类器的预测来可靠地聚合预测结果。为确保在校准投毒下的可靠性,我们构建多个预测集,每个预测集分别在训练数据的不同子集上校准。然后我们将其聚合为多数预测集,该预测集仅在个体集合中出现该类的类才包含该类。两种所提议的聚合方法均可减轻训练数据和校准数据中数据点对最终预测集的影响。在图像分类任务上进行的实验验证表明,我们的方法在保持实用性和在干净数据上的覆盖率的同时实现了强大的可靠性。总体而言,我们的方法是更可信地在数据投毒环境下进行不确定性定量的重要一步。

关键词

引用

@article{arxiv.2410.09878,
  title  = {Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning},
  author = {Yan Scholten and Stephan Günnemann},
  journal= {arXiv preprint arXiv:2410.09878},
  year   = {2025}
}

备注

Accepted at ICLR 2025 (Spotlight)