非预期选择：持续的资格率差异与干预措施

现实且公平地对机器学习中群体层面差异的动态进行建模仍是一个开放问题。特别地，我们希望模型不要假定人为划分的人群组之间存在固有差异，而是通过孤立子群体不平等的初始条件将差异内生化。在本文中，每个智能体拥有一个实值特征 $X$（例如信用评分），该特征由一个代表资格（例如贷款资格）的“真实”二值标签 $Y$ 所决定。每个智能体交替地（1）从一个观测 $X$ 的贝叶斯最优机器学习分类器接收二值分类标签 $\hat{Y}$（例如贷款批准），以及（2）可通过在其所属的一个孤立群体 $G$ 内模仿成功策略（例如寻求加薪）来更新其资格 $Y$。我们考虑不同群体之间资格率 $\Pr(Y=1)$ 的差异，以及该差异在一系列于全局人口上重复重新训练的贝叶斯最优分类器作用下如何变化。我们使用复制方程（源自一类模仿过程）对各个子群体（组）演化的资格率进行建模。我们表明，由于无知的分类器部署，子群体间资格率的差异在一组非平凡均衡状态下可无限期持续，即便各组除初始资格密度外各方面完全相同。接下来，我们模拟了常见公平性干预措施在该动力系统上的效果，以及一种能够永久消除群体层面资格率差异的新反馈控制机制。最后我们讨论了模型和发现的局限性，并概述了潜在的未来工作。