你永远无法预知：量化在视觉语言基础模型中引发不一致的偏差
计算机视觉与模式识别
2024-10-29 v1 计算机与社会
机器学习
摘要
我们研究了压缩基础视觉语言模型的一项标准做法——量化——对模型产生社会公平输出能力的影响。与以往关于单模态模型发现压缩会持续放大社会偏差的结论不同，我们对三种数据集和三种 CLIP 变体下的四种量化设置进行了广泛评估，得出了一个令人意外的结果：尽管单个模型表现出偏差，但我们发现在压缩模型群体中，量化并未导致偏差幅度或方向上出现一致的变化。
引用
@article{arxiv.2410.20265,
title = {You Never Know: Quantization Induces Inconsistent Biases in Vision-Language Foundation Models},
author = {Eric Slyman and Anirudh Kanneganti and Sanghyun Hong and Stefan Lee},
journal= {arXiv preprint arXiv:2410.20265},
year = {2024}
}
备注
Workshop paper at NeurIPS 2024 RBFM. 6 pages, 3 figures