通过分布对比解耦学习公平表示
机器学习
2022-06-20 v1 人工智能
计算机与社会
摘要
学习公平表示对于实现公平性或将敏感信息去偏至关重要。大多数现有工作依赖对抗表示学习来向表示中注入某种不变性。然而，对抗学习方法已知存在训练相对不稳定的问题，这可能损害表示的公平性与可预测性之间的平衡。我们提出一种新方法，通过分布对比变分自编码器(distributional CONtrastive Variational AutoEncoder, FarconVAE)学习公平表示(FAir Representation, FarconVAE)，其诱导潜空间解耦为敏感与非敏感部分。我们首先构造具有不同敏感属性但相同标签的观测对。然后，FarconVAE通过对比分布，迫使每个非敏感潜变量彼此更接近，而敏感潜变量彼此远离且也远离非敏感潜变量。我们受高斯与Student-t核启发，给出了一种用于分布对比学习的新型对比损失并附理论分析。此外，我们采用一种新的交换重构损失以进一步促进解耦。FarconVAE在来自表格、图像和文本等多种模态的公平性、预训练模型去偏以及域泛化任务上均展现出优越性能。
引用
@article{arxiv.2206.08743,
title = {Learning Fair Representation via Distributional Contrastive Disentanglement},
author = {Changdae Oh and Heeji Won and Junhyuk So and Taero Kim and Yewon Kim and Hosik Choi and Kyungwoo Song},
journal= {arXiv preprint arXiv:2206.08743},
year = {2022}
}
备注
Accepted by KDD 2022 (Research Track)