偏见是子空间而非坐标：对视觉语言模型后验去偏的几何化思考
计算机视觉与模式识别
2026-04-03 v2 人工智能
计算与语言
机器学习
摘要
视觉语言模型(VLM)已成为多模态推理不可或缺的工具，但其表征往往编码并放大人口统计偏见，导致下游任务中的偏性关联和预测错位。这一行为削弱了公平性并扭曲了视觉与语言之间的原本对齐。最近的后验方法试图通过替换最相关属性的嵌入坐标来缓解偏见。然而，我们的系统分析揭示了这种坐标方法的三个关键局限：特征 entanglement、较差的跨数据集泛化和不完全的偏差移除。我们发现偏见并不局限于少数坐标，而是分布在少数线性子空间中。为解决这些局限，我们提出子空间投影去偏(SPD)，一种几何原则化的框架，用于识别和移除可线性解码偏见的整个子空间，同时重新插入中性均值组件以保持语义忠诚。广泛实验在零样本分类、文本到图像检索和图像生成等任务上验证了SPD的有效性：我们的方法在四个公平性指标上实现了平均18.5%的改进，同时在保持最佳去偏基线最小的任务性能损失方面表现出色。
引用
@article{arxiv.2511.18123,
title = {Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models},
author = {Dachuan Zhao and Weiyue Li and Zhenda Shen and Yushu Qiu and Bowen Xu and Haoyu Chen and Yongchao Chen},
journal= {arXiv preprint arXiv:2511.18123},
year = {2026}
}
备注
Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026