人口统计隐私约束下公平性感知的低秩适应
机器学习
2025-03-10 v1 计算机视觉与模式识别
摘要
预训练基础模型可以使用低秩适应（LoRA）针对特定任务进行适配。然而，这些适配后分类器的公平性属性仍未得到充分探索。现有的公平性感知微调方法依赖于对敏感属性或其预测器的直接访问，但在实践中，这些敏感属性通常受到严格的消费者隐私控制，模型开发者既无法获取这些属性也无法获取其预测器，从而阻碍了公平模型的开发。为了解决这个问题，我们引入了一组基于 LoRA 的微调方法，这些方法可以分布式方式进行训练，模型开发者和公平性审计员在不共享敏感属性或预测器的情况下进行协作。在本文中，我们在 CelebA 和 UTK-Face 数据集上使用 ImageNet 预训练的 ViT-Base 模型进行实验，以此评估了三种此类方法——敏感遗忘、对抗训练和正交性损失——并与无公平性感知的基线进行了对比。我们发现，正交性损失在保持或提升效用的同时能持续减少偏差，而对抗训练在某些情况下改善了假阳性率均等和人口统计均等，敏感遗忘则没有提供明显的收益。在存在显著偏差的任务中，分布式公平性感知微调方法能够有效消除偏差而不损害消费者隐私，并且在大多数情况下能提升模型效用。
引用
@article{arxiv.2503.05684,
title = {Fairness-Aware Low-Rank Adaptation Under Demographic Privacy Constraints},
author = {Parameswaran Kamalaruban and Mark Anderson and Stuart Burrell and Maeve Madigan and Piotr Skalski and David Sutton},
journal= {arXiv preprint arXiv:2503.05684},
year = {2025}
}