对抗性公平自监督对比学习的可证明优化
机器学习
2024-06-11 v1 计算机视觉与模式识别
计算机与社会
摘要
本文研究在自监督学习（SSL）设置中学习公平编码器，其中所有数据都是未标记的，只有一小部分数据带有敏感属性注释。对抗性公平表示学习非常适合这种情况，它通过最小化未标记数据上的对比损失，同时最大化带有敏感属性的数据上预测敏感属性的对抗损失。然而，优化对抗性公平表示学习由于需要求解非凸非凹极小极大博弈而面临重大挑战。当引入全局对比损失（将每个锚点数据点与所有其他示例进行对比）时，复杂性进一步加深。一个核心问题是：“我们能否设计一个可证明且高效的算法来解决对抗性公平自监督对比学习？”基于先进的优化技术，我们提出了一种名为SoFCLR的随机算法，并在合理条件下给出了收敛性分析，且无需大批量大小。我们进行了大量实验，证明了所提方法在具有八种公平性概念的下游分类任务中的有效性。
引用
@article{arxiv.2406.05686,
title = {Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning},
author = {Qi Qi and Quanqi Hu and Qihang Lin and Tianbao Yang},
journal= {arXiv preprint arXiv:2406.05686},
year = {2024}
}