FAIR-Ensemble：公平性如何从深度集成中自然涌现
机器学习
2023-12-22 v2 人工智能
计算机视觉与模式识别
计算机与社会
机器学习
摘要
集成多个深度神经网络（DNNs）是一种简单而有效的提升顶层指标并超越更大单一模型的方法。在本工作中，我们超越顶层指标，转而探究集成对子群性能的影响。令人惊讶的是，我们观察到即便使用简单的同构集成——所有个体DNN共享相同的训练集、架构与设计选择——少数群体的性能随模型数量的增加而比多数群体有更大程度的提升，即公平性从集成中自然涌现。更令人惊讶的是，我们发现即便考虑大量模型（例如个）时，这种增益仍持续出现，尽管集成的平均性能在较少模型时便已趋于平稳。我们的工作确立了简单DNN集成可作为缓解DNN分类器差异影响从而抑制算法危害的有力工具。我们也探究了其原因：即使在同构集成中，通过参数初始化、小批量采样和数据增强实现来改变随机性来源，会导致不同的公平性结果。
引用
@article{arxiv.2303.00586,
title = {FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling},
author = {Wei-Yin Ko and Daniel D'souza and Karina Nguyen and Randall Balestriero and Sara Hooker},
journal= {arXiv preprint arXiv:2303.00586},
year = {2023}
}