关于偏见缓解的失败：政府数据公平性挑战的案例研究

AI支持政府服务的潜在偏见与不公平问题引发伦理和法律顾虑。本研究以布里斯特市议会数据中的犯罪率预测为案例研究，考察这些问题如何持续存在。不同于审计实际部署系统，我们的目标是理解为何常采用的偏见缓解技术在应用于政府数据时常常失败。我们的发现表明，针对政府数据的偏见缓解方法并不总是有效——这种无效并非源于模型架构或指标选择的缺陷，而是源于数据本身的内在属性。通过对一组全面的模型和公平性方法进行比较实验，我们实验结果一致显示，缓解努力无法克服数据中嵌入的不公平性——这进一步强证了偏见的根源在于政府数据集的结构与历史。我们随后探讨了预测模型在政府数据上偏见缓解失败的原因，并指出数据分布迁移、历史偏见的累积以及数据发布延迟所带来的不公平性潜在来源。我们还发现，仅针对单一敏感特征进行的公平性分析和偏见缓解方法在盲点方存在局限性，这通过一组交叉公平实验得以揭示。虽然本研究仅限于一个城市，但其发现具有高度的指示性，这有助于提前警示即使采用标准缓解方法，政府数据中的偏见也可能持续存在。