Transformer 中的公平感知结构化剪枝
计算与语言
2023-12-27 v1 计算机与社会
机器学习
摘要
大型语言模型（LLMs）规模的不断增加给其训练和推理带来了挑战。移除模型组件被视为解决大模型规模问题的一种方案，然而，现有的剪枝方法仅关注性能，未考虑负责任地使用 LLMs 的一个基本方面：模型公平性。鉴于 LLMs 正被部署并供广大受众使用，解决其对不同群体（如女性、黑人、LGBTQ+ 群体、犹太社区等）的公平性至关重要。在本工作中，首先，我们研究了注意力头如何影响预训练基于 Transformer 的语言模型中的公平性和性能。随后，我们提出了一种新方法，用于剪枝那些对公平性产生负面影响的注意力头，同时保留对性能（即语言建模能力）至关重要的头。我们的方法在时间和资源方面具有实用性，因为它不需要对最终剪枝后且更公平的模型进行微调。我们的研究结果表明，与有偏模型相比，DistilGPT-2、GPT-2、两种不同尺寸的 GPT-Neo、GPT-J 和 Llama 2 模型的性别偏差分别减少了 19%、19.5%、39.5%、34.7%、23% 和 8%，而性能仅略有下降。
引用
@article{arxiv.2312.15398,
title = {Fairness-Aware Structured Pruning in Transformers},
author = {Abdelrahman Zayed and Goncalo Mordido and Samira Shabanian and Ioana Baldini and Sarath Chandar},
journal= {arXiv preprint arXiv:2312.15398},
year = {2023}
}
备注
In Proceedings of AAAI 2024