缓解联邦视觉语言模型中的群体级公平性差异
计算机视觉与模式识别
2025-05-06 v1
摘要
视觉语言模型（VLMs）在多模态任务中展现出卓越的能力，但在跨人口群体间保持公平性方面面临挑战，尤其是在联邦学习（FL）环境中部署时。本文通过引入 FVL-FP，一种将 FL 与公平提示微调技术相结合的新颖框架，来解决联邦 VLM 中的群体公平性这一关键问题。我们专注于通过三个创新组件来减轻人口统计学偏差，同时保持模型性能：（1）跨层人口统计学公平提示（CDFP），通过反事实正则化调整可能产生偏差的嵌入；（2）人口统计学子空间正交投影（DSOP），通过将公平提示文本映射到群体子空间来消除图像表示中的人口统计学偏差；（3）公平感知提示融合（FPF），基于性能和公平性指标动态平衡客户端贡献。在四个基准数据集上的广泛评估表明，与标准 FL 方法相比，我们的方法平均减少了 45% 的人口统计学差异，同时将任务性能保持在最先进结果的 6% 以内。FVL-FP 有效地解决了联邦设置中非独立同分布数据分布的挑战，在提供显著公平性收益的同时引入了最小的计算开销。我们的工作为在保护隐私的多模态系统中确保跨人口群体的公平性能这一关键挑战提供了一种参数高效的解决方案。
引用
@article{arxiv.2505.01851,
title = {Mitigating Group-Level Fairness Disparities in Federated Visual Language Models},
author = {Chaomeng Chen and Zitong Yu and Junhao Dong and Sen Su and Linlin Shen and Shutao Xia and Xiaochun Cao},
journal= {arXiv preprint arXiv:2505.01851},
year = {2025}
}