过参数化机制下通过处理中方式实现公平性：一个警示故事
机器学习
2022-07-01 v1 计算机与社会
摘要
DNN 的成功源于过参数化网络即便完美拟合训练数据仍能泛化的反直觉能力。在实践中，测试误差常随过参数化增加而继续下降，称为双下降。这使得实践者可以实例化大型模型而不必担心过拟合。然而，尽管有其益处，先前工作表明过参数化会加剧对少数子群的偏见。为此已提出若干公平性约束的 DNN 训练方法。在此，我们批判性考察了 TensorFlow 的 Responsible AI Toolkit 中实现的一种公平性约束训练过程 MinDiff，其目标是实现机会均等。我们表明，尽管 MinDiff 改善了欠参数化模型的公平性，它在过参数化机制下很可能无效。这是因为训练损失为零的过拟合模型在训练数据上平凡地满足组间公平，制造了“公平性错觉”，从而关闭了 MinDiff 优化（这适用于任何关注误差或准确率的差异度量，不适用于人口均等等）。在指定的公平性约束内，欠参数化 MinDiff 模型甚至可比其过参数化对应模型具有更低的误差（尽管基线过参数化模型误差更低）。我们进一步表明，在欠参数化机制下 MinDiff 优化对批大小的选择非常敏感。因此，使用 MinDiff 的公平模型训练需要耗时的超参数搜索。最后，我们建议将先前提出的正则化技术，即 L2、早停和 flooding 与 MinDiff 结合使用，以训练公平的过参数化模型。
引用
@article{arxiv.2206.14853,
title = {Fairness via In-Processing in the Over-parameterized Regime: A Cautionary Tale},
author = {Akshaj Kumar Veldanda and Ivan Brugere and Jiahao Chen and Sanghamitra Dutta and Alan Mishler and Siddharth Garg},
journal= {arXiv preprint arXiv:2206.14853},
year = {2022}
}