在数据投毒存在下如何筛出干净数据子集？

鉴于训练现代机器学习模型所需的数据量，外部供应商正被越来越多地使用。然而，引入外部数据带来了数据投毒风险，即攻击者操纵其数据以削弱模型的效用或完整性。大多数投毒防御假定可访问一组干净数据（或基础集）。尽管该假设被视为理所当然，但考虑到针对隐蔽投毒攻击的快速增长的研究，一个问题随之产生：防御者是否真能在受污染数据集中识别出干净子集以支持防御？本文首先考察了当中毒样本被误混入基础集时对其防御的影响。我们分析了五种防御，发现当基础集中含不到 1% 的中毒点时，其性能急剧恶化。这些发现表明，高精度筛出基础集是这些防御性能的关键。受此观察驱动，我们研究了现有自动化工具与人工检查在数据投毒存在下识别干净数据的精度。遗憾的是，两者均未达到所需精度。更糟的是，许多结果劣于随机选取。除揭示该挑战外，我们提出了一种实用对策 Meta-Sift。我们的方法基于如下洞见：现有攻击的中毒样本偏离干净数据分布。因此，在数据集干净部分训练并在 corrupted 部分测试将导致高预测损失。利用该洞见，我们构建了一个双层优化以识别干净数据，并进一步引入一套技术以提升效率与精度。我们的评估表明，在多种投毒攻击下 Meta-Sift 能以 100% 精度筛出干净基础集。所选基础集足够大以促成成功的防御。