理解模型压缩对大语言模型中社会偏见的影响
计算与语言
2023-12-13 v2
摘要
在海量网络文本语料库上通过自监督训练的大型语言模型（LLMs）会拟合该文本中的社会偏见。如果不加干预，这些社会偏见会持续存在于模型在下游任务中的预测中，导致代表性伤害。已有许多策略被提出，以缓解预训练期间学到的不当社会偏见的影响。与此同时，模型压缩方法因能减轻 LLMs 的计算负担而日益流行。尽管这两种方法都很流行且都有需求，但探索两者之间相互作用的已有工作却很少。我们开展了一项精心受控的研究，探讨了通过量化和知识蒸馏进行的模型压缩对 LLMs 中社会偏见指标的影响。更长的预训练时间和更大的模型会导致更高的社会偏见，而量化表现出正则化效应，其最佳权衡点出现在约 20% 的原始预训练时间处。
引用
@article{arxiv.2312.05662,
title = {Understanding the Effect of Model Compression on Social Bias in Large Language Models},
author = {Gustavo Gonçalves and Emma Strubell},
journal= {arXiv preprint arXiv:2312.05662},
year = {2023}
}
备注
EMNLP 2023 Main