你的公平模型有多鲁棒？探索多种公平性策略的鲁棒性

随着机器学习被引入高风险决策，确保算法公平性已成为一个日益重要的问题。为此，许多公平性的数学定义被提出，并开发了多种优化技术，皆旨在最大化某一既定公平性概念。然而，公平解依赖于训练数据的质量，并且可能对噪声高度敏感。近期研究表明，鲁棒性（模型在未见数据上表现良好的能力）在应对新问题时应采用的策略类型中起着重要作用，因此衡量这些策略的鲁棒性已成为一个基本问题。在本工作中，我们因而提出一种衡量各类公平性优化策略鲁棒性的新准则——鲁棒性比率。我们在五个基准公平性数据集上，使用三种最流行的公平性策略与四种最流行的公平性定义进行了多项大量实验。我们的实验从经验上表明，依赖阈值优化的公平性方法在所有评估的数据集中对噪声非常敏感，尽管其在多数情况下优于其他方法。这与另外两种方法形成对比，后者在低噪声场景下公平性较低，但在高噪声场景下更公平。据我们所知，我们是首个定量评估公平性优化策略鲁棒性的工作。这有可能作为为各类数据集选择最合适公平性策略的指南。