通过定向对齐缓解视觉 Transformer 中的偏差
计算机视觉与模式识别
2023-02-10 v1
摘要
随着 transformer 架构在计算机视觉中日益普及，理解其公平性影响至关重要。我们首次对应用于计算机视觉的 transformer 的公平性进行研究，并对先前工作中的若干偏差缓解方法进行了基准测试。我们对 transformer 自注意力模块的特征空间进行可视化，发现显著部分的偏差编码于查询矩阵中。基于这一认识，我们提出 TADeT，一种用于 transformer 去偏的定向对齐策略，旨在主要发现并消除查询矩阵特征中的偏差。我们使用平衡准确率与标准准确率衡量性能，并使用均等几率与平衡准确率差异衡量公平性。在 CelebA 数据集的多个属性预测任务上，TADeT 在不损害性能的前提下，相较于先前工作持续带来公平性的改善。
引用
@article{arxiv.2302.04358,
title = {Mitigating Bias in Visual Transformers via Targeted Alignment},
author = {Sruthi Sudhakar and Viraj Prabhu and Arvindkumar Krishnakumar and Judy Hoffman},
journal= {arXiv preprint arXiv:2302.04358},
year = {2023}
}