简单性导致不公平：对公平性、刻板印象与可解释性的启示

算法正日益被用于辅助或在某些情况下取代人类决策，尤其是那些依赖于预测的决断。因此，除预测质量外，另外两个特征引起了关注：(i) 为促进人类与这些算法的交互和理解，我们希望预测函数在某种意义上是简单或可解释的；(ii) 由于它们影响重大决定，我们也希望它们产生公平的分配。我们建立了一个形式化模型来探究简单性要求与公平性之间的关系。尽管这两个概念看似源于性质不同的目标，我们展示了它们之间根本性的矛盾。具体而言，我们形式化了一个生成简单预测函数的通用框架，并在该框架中确立了两个基本结果。第一，每个简单预测函数都是严格可改进的：存在一个更复杂的预测函数，它既严格更高效，也严格更公平。换言之，使用简单预测函数相较于其他选择既降低了弱势群体的效用，也降低了总体福利。第二，我们表明简单预测函数必然产生利用个体所属弱势群体成员身份信息的动机——这些动机在简化之前并不存在，且对这些个体不利。因此，简单性将劣势转化为对弱势群体的偏见。我们的结果不仅关乎算法，也关乎任何生成简单模型的过程，因此它们与刻板印象的心理学以及早期关于统计性歧视的经济学文献相关联。