面向任务驱动的数据质量管理统一框架
机器学习
2021-06-11 v1
摘要
高质量数据对于训练高性能机器学习（ML）模型至关重要，凸显了数据质量管理（DQM）的重要性。现有DQM方案往往不能令人满意地提升ML性能，因为其设计上忽略下游ML任务。此外，它们无法处理各类数据质量问题（尤其是由对抗攻击引起的），且仅适用于某些特定类型的ML模型。近来，数据估值方法（如基于Shapley值）被用于执行DQM；然而实证研究发现其性能随底层数据与训练过程差异显著。本文提出一种任务驱动、多用途、模型无关的DQM框架 DataSifter，其针对给定下游ML任务优化，能有效移除具有各类缺陷的数据点，并适用于多种模型。具体而言，我们将DQM表述为优化问题并设计可扩展算法求解。进一步，我们提出用于比较不同DQM策略最坏情况性能的理论框架。值得注意的是，我们的结果表明，基于Shapley值的流行策略在某些实际场景中可能最终选到最差的数据子集。我们的评估显示，DataSifter 在广泛的DQM任务（包括后门、投毒、噪声/错标数据检测、数据摘要与数据去偏）上达到并多数显著优于最先进性能。
引用
@article{arxiv.2106.05484,
title = {A Unified Framework for Task-Driven Data Quality Management},
author = {Tianhao Wang and Yi Zeng and Ming Jin and Ruoxi Jia},
journal= {arXiv preprint arXiv:2106.05484},
year = {2021}
}