迈向公平之旅：大语言模型中的偏见与去偏
计算与语言
2024-11-12 v2
摘要
低成本构建的可负担训练的超大型语言模型（CtB-LLMs）正成为自然语言处理与理解领域的下一场重大变革。这些CtB-LLMs使可训练的超大型语言模型（VLLMs）的获取民主化，并可能成为许多解决下游任务的NLP系统的构建模块。因此，CtB-LLMs中轻微或严重的偏见都可能造成巨大危害。本文对三个系列的CtB-LLMs的偏见进行了大规模调研，并表明去偏技术是有效且可用的。事实上，根据当前的测试，LLaMA和OPT系列在性别、种族、宗教和职业方面存在重要偏见。与其他LLMs的分析不同，我们发现偏见不依赖于参数数量，而是依赖于困惑度。最后，使用LoRA对OPT的去偏在归一化刻板印象分数上最多降低了4.12分。
引用
@article{arxiv.2305.13862,
title = {A Trip Towards Fairness: Bias and De-Biasing in Large Language Models},
author = {Leonardo Ranaldi and Elena Sofia Ruzzetti and Davide Venditti and Dario Onorati and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:2305.13862},
year = {2024}
}