公平约束学习对恶意噪声的脆弱性研究
机器学习
2024-08-26 v3 人工智能
密码学与安全
计算机与社会
摘要
我们考虑公平约束学习对训练数据中少量恶意噪声的脆弱性。Konstantinov 与 Lampert（2021）开创了该问题的研究并给出了负面结果，表明存在数据分布使得在若干公平性约束下，当群体规模不平衡时任何恰当学习器都将表现出高脆弱性。在此，我们呈现一种更为乐观的视角，表明若允许随机化分类器，则情形要微妙得多。例如，对于人口均等的公平性约束，我们证明精度损失仅为 Θ(α)，其中 α 为恶意噪声率，即便在无公平性约束下亦为最优可能。对于机会均等，我们证明可产生 O(√α) 的损失，并给出匹配的 Ω(√α) 下界。相比之下，Konstantinov 与 Lampert（2021）证明对恰当学习器，这两种概念的精度损失均为 Ω(1)。我们工作的关键技术新颖性在于随机化如何绕过 adversary 可用来放大其能力的简单“伎俩”。我们还考虑了额外的公平性概念，包括均等几率与校准。对于这些公平性概念，额外精度损失聚为三个自然区间 O(α)、O(√α) 与 O(1)。这些结果提供了对公平约束学习对训练数据中对抗噪声敏感性的更细粒度视图。
引用
@article{arxiv.2307.11892,
title = {On the Vulnerability of Fairness Constrained Learning to Malicious Noise},
author = {Avrim Blum and Princewill Okoroafor and Aadirupa Saha and Kevin Stangl},
journal= {arXiv preprint arXiv:2307.11892},
year = {2024}
}