最大加权损失差异
机器学习
2019-06-11 v1 机器学习
摘要
尽管机器学习算法擅长最小化群体上的平均损失，但这可能导致群体内各组之间的损失存在巨大差异。为刻画这种不平等，我们引入并研究了一个称为最大加权损失差异（MWLD）的概念，即组的损失与群体损失之间的最大（加权）差值。我们将 MWLD 与群体公平概念以及对人口统计偏移的鲁棒性联系起来。我们随后证明 MWLD 满足以下三个性质：1）当所有组权重相等时，统计上无法估计 MWLD。2）对于一特定加权函数族，我们可以高效地估计 MWLD。3）MWLD 与损失方差相关，而损失方差是泛化界中出现的一个量。我们在公平文献中的四个常用数据集上用不同加权函数估计了 MWLD。我们最后表明，损失方差正则化可使分类器的损失方差减半，从而在不显著牺牲准确率的情况下降低 MWLD。
引用
@article{arxiv.1906.03518,
title = {Maximum Weighted Loss Discrepancy},
author = {Fereshte Khani and Aditi Raghunathan and Percy Liang},
journal= {arXiv preprint arXiv:1906.03518},
year = {2019}
}
备注
ICLR 2019 Workshop. Safe Machine Learning: Specification, Robustness, and Assurance