某些优化器更均等：了解优化器在群体公平性中的作用
机器学习
2025-10-27 v2 计算机视觉与模式识别
机器学习
摘要
我们研究优化算法的选择是否及其如何影响深度神经网络中的群体公平性。通过对可解析设置中优化动力学的随机微分方程分析，我们展示了优化算法的选择确实影响公平性结果，特别是在严重不平衡的情况下。此外，我们表明在比较两类优化器时，自适应方法和随机方法的 RMSProp (来自自适应类别) 在收敛到更公平的最小值方面比 SGD (来自随机类别) 更可能。基于这一洞见，我们推导出两个新的理论保证，表明在适当条件下，RMSProp 在单次优化中表现出更公平的参数更新和改进的公平性。我们随后通过在三个公开数据集上进行大量实验，包括 CelebA、FairFace 和 MS-COCO，分别用于面部表情识别、性别分类和多标签分类，使用各种 backbone，在包括平等机会、平等机会和人口统计不平等在内的多种公平性定义下，验证了这些发现。考虑到多种公平性定义，像 RMSProp 和 Adam 这样的自适应优化器在群体公平性方面持续优于 SGD，同时保持可比的预测准确率。我们的结果凸显了自适应更新作为促进公平结果的关键且被忽视的机制。我们在 https://github.com/Mkolahdoozi/Some-Optimizers-Are-More-Equal 上发布了源代码。
引用
@article{arxiv.2504.14882,
title = {Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness},
author = {Mojtaba Kolahdouzi and Hatice Gunes and Ali Etemad},
journal= {arXiv preprint arXiv:2504.14882},
year = {2025}
}
备注
Accepted in NeurIPS 2025