为预训练图模型赋予可证明的公平性
机器学习
2024-02-21 v2 人工智能
计算机与社会
社会与信息网络
摘要
预训练图模型（PGMs）旨在捕捉可转移的内在结构属性并应用于不同下游任务。类似地，PGM 也继承了人类社会中的偏见，导致在下游应用中出现歧视性行为。现有公平方法的去偏过程通常与图神经网络的参数优化耦合。然而，不同下游任务可能对应不同的敏感属性，直接采用现有方法来提高 PGMs 的公平性缺乏灵活性和效率。此外，大多数方法缺乏理论保证，即对模型预测的公平性提供可证明的下界，这直接为实际场景提供了保证。为克服这些限制，我们提出了一种新的适配器调优框架，使预训练图模型具备可证明的公平性（称为 GraphPAR）。GraphPAR 冻结 PGMs 的参数并训练一个参数高效的适配器，以灵活方式提高 PGMs 在下游任务中的公平性。具体而言，我们在节点表示上设计了一个敏感语义增强器，以为每个节点的不同敏感属性语义扩展节点表示。扩展后的表示将用于进一步训练适配器，以防止敏感属性语义从 PGMs 传播到任务预测中。此外，基于 GraphPAR，我们可以量化每个节点的公平性是否可证明，即预测在一定范围的敏感属性语义内始终是公平的。在真实数据集上的实验评估表明，GraphPAR 在节点分类任务上实现了预测性能和公平性的前沿水平。此外，基于我们的 GraphPAR，约有 90% 的节点具有可证明的公平性。
引用
@article{arxiv.2402.12161,
title = {Endowing Pre-trained Graph Models with Provable Fairness},
author = {Zhongjian Zhang and Mengmei Zhang and Yue Yu and Cheng Yang and Jiawei Liu and Chuan Shi},
journal= {arXiv preprint arXiv:2402.12161},
year = {2024}
}
备注
Accepted by WWW 2024