公平性重编程
机器学习
2022-12-13 v4 人工智能
计算机与社会
摘要
尽管近期促进机器学习（ML）公平性的进展激增，现有主流方法大多需要重新训练或微调神经网络的全部权重以满足公平性准则。然而，由于巨大的计算与存储成本、低数据效率以及模型隐私问题，这对于那些大规模训练模型在实践中往往不可行。本文提出一种称为 FairReprogram 的新的通用公平性学习范式，其结合了模型重编程技术。具体而言，FairReprogram 考虑模型不可更改的情形，并在输入上附加一组扰动，称为公平性触发器（fairness trigger），其在极小极大公式下朝公平性准则调优。我们进一步引入一个信息论框架，解释为何以及在何种条件下可使用公平性触发器实现公平性目标。我们从理论与经验上表明，公平性触发器可通过提供错误的人口统计信息来有效掩盖固定 ML 模型输出预测中的人口统计偏差，从而阻碍模型利用正确的人口统计信息进行预测。在 NLP 与 CV 数据集上的大量实验表明，在两种广泛使用的公平性准则下，我们的方法能以远低的数据依赖取得比基于重训练方法更好的公平性改进。代码可见于 https://github.com/UCSB-NLP-Chang/Fairness-Reprogramming.git。
引用
@article{arxiv.2209.10222,
title = {Fairness Reprogramming},
author = {Guanhua Zhang and Yihua Zhang and Yang Zhang and Wenqi Fan and Qing Li and Sijia Liu and Shiyu Chang},
journal= {arXiv preprint arXiv:2209.10222},
year = {2022}
}