尼日利亚软件工程师或美国数据科学家？GitHub轮廓中的招聘偏见
软件工程
2025-01-15 v2
摘要
大型语言模型（LLM）正迅速改变世界，展现出不仅能自动化枯燥任务，还能在完成软件工程任务方面具有一定水平。LLM的一个关键关切是其“黑箱”特性，这掩盖了其内部工作机制，可能导致其输出中存在社会偏见。在软件工程语境下，本篇早期结果论文，我们经验性地探讨了LLM在面向地理分布多样化软件团队的招聘任务自动化方面的能力。我们使用OpenAI的ChatGPT，通过来自四个地区的GitHub用户轮廓进行初始实验，以招聘六人软件开发团队，分析了2019-2023年间总计3657个轮廓。结果表明，ChatGPT在某些地区之间显示出偏好，即使在两个轮廓的位置字符串互换（反事实）时亦然。此外，ChatGPT更倾向于将特定开发角色分配给来自特定国家的用户，揭示了潜在的偏见。总体而言，本研究揭示了LLM内部工作机制的洞见，并对缓解此类模型中的社会偏见具有启发意义。
引用
@article{arxiv.2409.12544,
title = {Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models},
author = {Takashi Nakano and Kazumasa Shimari and Raula Gaikovina Kula and Christoph Treude and Marc Cheong and Kenichi Matsumoto},
journal= {arXiv preprint arXiv:2409.12544},
year = {2025}
}