她做需求获取、他做测试：大型语言模型中的软件工程性别偏见
软件工程
2023-03-20 v1 人工智能
计算机与社会
机器学习
摘要
软件开发中的隐性性别偏见是已有充分记录的问题，例如技术角色与男性的关联。为解决此偏见，细致理解其至关重要。本研究使用数据挖掘技术调查56项软件开发相关任务（如分配GitHub议题与测试）受大型语言模型中嵌入的隐性性别偏见影响的程度。我们系统性地将每项任务从英文译为无性别语言再译回，并考察与每项任务关联的代词。基于将每项任务以不同排列翻译100次，我们识别出不同任务性别代词关联上的显著 disparity。具体而言，需求获取仅在6%的案例中与代词“he”关联，而测试在100%案例中与“he”关联。此外，助人相关任务有91%与“he”关联，而同事求助相关任务的同一关联仅52%。这些发现揭示了与软件开发任务相关的清晰性别偏见模式，并对在大型语言模型训练及更广泛社会中解决此问题具有重要启示。
引用
@article{arxiv.2303.10131,
title = {She Elicits Requirements and He Tests: Software Engineering Gender Bias in Large Language Models},
author = {Christoph Treude and Hideaki Hata},
journal= {arXiv preprint arXiv:2303.10131},
year = {2023}
}
备注
6 pages, MSR 2023