审视 GPT-4 中均匀性偏差对超参数调整的鲁棒性
计算机视觉与模式识别
2025-01-07 v1 计算与语言
机器学习
摘要
在大规模人类生成数据上训练的视觉语言模型往往会复制并放大社会偏见。其中一种关键形式是均匀性偏差——即将某些群体表示为比其他群体更均匀的趋势。我们研究了这种偏差如何响应 GPT-4 超参数调整，具体包括采样温度和 top p，这些参数控制模型输出的随机性。通过生成来自不同种族和性别群体的个人的故事，并使用向量表示进行比较，我们评估了偏差的鲁棒性及其与超参数值之间的关系。我们发现：（1）在大多数超参数配置下，均匀性偏差仍然存在，其中黑人美国人和女性被表示得比白人美国人和男性更均匀；（2）超参数与群体表征之间的关系显示出意想不到的非线性模式，特别是在极端值处；（3）超参数调整对种族和性别均匀性偏差的影响不同——增加温度或减小 top p 可以降低种族均匀性偏差，但这些变化对性别均匀性偏差的影响不同。我们的发现表明，尽管超参数调节可能在某种程度上缓解某些偏见，但不能作为解决不同社会群体维度上均匀性偏差的通用解决方案。
引用
@article{arxiv.2501.02211,
title = {Examining the Robustness of Homogeneity Bias to Hyperparameter Adjustments in GPT-4},
author = {Messi H. J. Lee},
journal= {arXiv preprint arXiv:2501.02211},
year = {2025}
}