定位 CLIP 视觉编码器注意力头层面的人口统计偏见
计算机视觉与模式识别
2026-03-13 v1 人工智能
计算机与社会
摘要
标准的公平性审计仅量化模型是否存在偏见，但无法定位偏见在网络内部的具体位置。我们提出一种机制化公平性审计，结合投影残差流分解、零样本概念激活向量和带偏见的文本片段分析，以在视觉 Transformer 的注意力头级别定位人口统计偏见。作为可行性案例研究，我们将该流程应用于 CLIP ViT-L-14 编码器，对 FACET 框架的 42 个职业类别进行性别和年龄偏见审计。对于性别偏见，流程识别出四个终端层注意力头，其消除可降低全局偏见 (Cramer's V: 0.381 → 0.362)，同时略微提升准确率 (+0.42%)；层级匹配的随机控制确认了该效应仅限于所识别的注意力头。最终层的一个注意力头对降低最具刻板印象类的偏见贡献最大，类别级分析显示，校正后的预测趋向正确的职业。对于年龄偏见，同样的流程识别出候选注意力头，但消除效果较弱且不够一致，表明年龄偏见在该模型中更扩散地编码。这些结果为证明注意力头级偏见定位在判别性视觉编码器上可行，以及局部化程度可能因受保护属性而异提供了初步证据。
引用
@article{arxiv.2603.11793,
title = {Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder},
author = {Alaa Yasser and Kittipat Phunjanna and Marcos Escudero Viñolo and Catarina Barata and Jenny Benois-Pineau},
journal= {arXiv preprint arXiv:2603.11793},
year = {2026}
}
备注
14 pages, 6 tables, 2 figures. Work conducted during IPCV-AI Erasmus Mundus Master