基于 LLM 的代码生成中的偏见测试与缓解
软件工程
2025-03-24 v4 人工智能
摘要
随着 LLM 在软件编码生态系统中的采用日益广泛，一个紧迫的问题浮现出来：生成的代码是否包含社会偏见与不公，例如与年龄、性别和种族相关的那些？这一问题关乎依赖这些模型生成代码的软件应用的完整性、公平性与伦理基础，但在文献中尚未得到充分探索。本文提出了一种专为代码生成任务设计的新型偏见测试框架。基于该框架，我们对五个被广泛研究的 LLM（即 PALM-2-CodeChat-bison、Claude-instant-1、GPT-3.5-turbo、GPT-4-turbo 和 GPT-4）所生成代码中的偏见进行了广泛的实证研究。我们的发现揭示偏见普遍存在。例如，这些 LLM 生成的代码中有 13.47% 至 49.10% 对性别表现出偏见行为。此外，我们研究了当前代码生成场景中常用的五种偏见缓解提示策略，即零样本、单样本、少样本以及两种思维链（Chain-of-Thought, CoT）提示，并包含或不包含所提供的反馈驱动精炼。我们的评估结果表明，使用直接的提示工程策略在缓解偏见方面效果有限，但我们的测试执行反馈能在很大程度上帮助降低代码偏见的比例（例如，对于 GPT-4 从 59.88% 降至 4.79%）。
引用
@article{arxiv.2309.14345,
title = {Bias Testing and Mitigation in LLM-based Code Generation},
author = {Dong Huang and Jie M. Zhang and Qingwen Bu and Xiaofei Xie and Junjie Chen and Heming Cui},
journal= {arXiv preprint arXiv:2309.14345},
year = {2025}
}
备注
Accepted by TOSEM