偏见揭秘：探究 LLM 生成代码中的社会偏见
软件工程
2025-03-10 v4
摘要
大语言模型 (LLM) 极大地推动了自动代码生成领域的发展。然而，在评估 LLM 生成代码中可能存在的社会偏见方面，存在显著的研究空白。为解决这一问题，我们提出了一个新颖的公平性框架，即 Solar，用于评估和缓解 LLM 生成代码的社会偏见。具体而言，Solar 可自动生成测试用例，以定量揭示 LLM 自动生成代码中的社会偏见。为量化生成代码中社会偏见的严重程度，我们构建了一个涵盖多样化社会问题的数据集。我们将 Solar 和该构建数据集应用于四个最先进的代码生成 LLM。评估揭示了所有受试 LLM 生成的代码中均存在严重偏见。此外，我们探索了多种缓解偏见的提示策略，包括思维链 (CoT) 提示、将正向角色扮演与 CoT 提示相结合以及与 Solar 对话。实验表明，与 Solar 对话可有效减少 LLM 生成代码中的社会偏见高达 90%。最后，我们公开发布代码和数据，具有高度可扩展性，可用于评估新的社会问题。
引用
@article{arxiv.2411.10351,
title = {Bias Unveiled: Investigating Social Bias in LLM-Generated Code},
author = {Lin Ling and Fazle Rabbi and Song Wang and Jinqiu Yang},
journal= {arXiv preprint arXiv:2411.10351},
year = {2025}
}
备注
accepted for publication in the Association for the Advancement of Artificial Intelligence (AAAI), 2025