Latent Imitator：面向黑盒公平性测试的自然个体歧视样本生成
软件工程
2024-07-02 v1 机器学习
摘要
机器学习（ML）系统在广泛应用领域取得卓越性能，但在敏感应用场景中常表现出不公平行为，引发严重公平性担忧。为评估与测试公平性，工程师常在模型部署前生成个体歧视样本以暴露不公平行为。然而，现有基线方法忽视生成样本的自然性，产生偏离真实数据分布的样本，因这类非自然歧视样本在实践中极少出现，可能无从揭示模型实际公平性。针对该问题，本文提出名为 Latent Imitator（LIMI）的框架，借助生成对抗网络（GAN）生成更自然的个体歧视样本：在 GAN 语义潜空间中模仿目标模型决策边界，并进一步在其上采样潜空间样本。具体而言，我们首先导出替代线性边界粗近似目标模型决策边界，以反映原始数据分布本质；随后为获取更自然样本，将随机潜向量经一步移动至替代边界，并进一步做向量计算探查两个可能更贴近真实决策边界的潜在歧视候选。在多数据集上的大量实验表明，LIMI 在有效性（样本数 ×9.42）、效率（速度 ×8.71）与自然性（+19.65%）上平均大幅优于其他基线。此外，经验证明以本方法生成测试样本重训练可同时提升个体公平性（ 上 45.67%、 上 32.81%）与群体公平性（ 上 9.86%、 上 28.38%）。
引用
@article{arxiv.2305.11602,
title = {Latent Imitator: Generating Natural Individual Discriminatory Instances for Black-Box Fairness Testing},
author = {Yisong Xiao and Aishan Liu and Tianlin Li and Xianglong Liu},
journal= {arXiv preprint arXiv:2305.11602},
year = {2024}
}
备注
Accepted by ISSTA 2023