利用对抗性数据损坏对机器学习流水线进行压力测试
机器学习
2025-06-03 v1
摘要
结构化数据质量问题，例如与人口统计特征相关的缺失值、带有文化偏见的标签或系统性选择偏差，通常会降低机器学习流水线的可靠性。监管机构现在越来越要求提供证据，证明高风险系统能够承受这些现实的、相互依赖的错误，然而当前的鲁棒性评估通常使用随机或过于简化的损坏，使得最坏情况下的场景未被探索。我们引入了 SAVAGE，一个受因果启发的框架，它 通过依赖图和灵活的损坏模板形式化地建模现实的数据质量问题，并 系统地发现能最大程度降低目标性能指标的损坏模式。SAVAGE 采用双层优化方法来高效识别脆弱的数据子群体并微调损坏严重程度，将包括预处理和潜在不可微模型在内的完整机器学习流水线视为黑盒。在多个数据集和机器学习任务（数据清洗、公平性感知学习、不确定性量化）上的大量实验表明，即使是 SAVAGE 识别出的一小部分（约 5%）结构化损坏也会严重影响模型性能，远超随机或人工设计的错误，并使现有技术的核心假设失效。因此，SAVAGE 为严格的流水线压力测试提供了实用工具，为评估鲁棒性方法提供了基准，并为设计更具弹性的数据工作流提供了可操作的指导。
引用
@article{arxiv.2506.01230,
title = {Stress-Testing ML Pipelines with Adversarial Data Corruption},
author = {Jiongli Zhu and Geyang Xu and Felipe Lorenzi and Boris Glavic and Babak Salimi},
journal= {arXiv preprint arXiv:2506.01230},
year = {2025}
}