评估 LLMs 对 elite 院校的偏见：基于角色的探索

本研究探讨了流行大语言模型（LLM）在为技术行业专业人士生成角色时是否表现出对 elite 院校的偏见。我们采用一种新颖的基于角色的方法，比较 GPT-3.5、Gemini 和 Claude 3 Sonnet 的教育背景预测与 LinkedIn 上的实际数据。该研究聚焦于 Microsoft、Meta 和 Google 中的各种职位，包括 VP Product、Director of Engineering 和 Software Engineer。我们在三个 LLM 中生成了 432 个角色，并分析了这些角色中 elite 院校（斯坦福大学、MIT、加州大学伯克利分校和哈佛大学）的出现频率与 LinkedIn 数据的比较。结果显示，LLM显著高估了 elite 院校，featuring these universities 72.45% of the time, 仅占实际 LinkedIn 数据中的 8.56%。ChatGPT 3.5 表现出最高的偏见，随后是 Claude Sonnet 3，而 Gemini 效果最佳。该研究突显了需要解决 LLM 中教育偏见的必要性，并为在 AI 驱动的招聘过程中减轻此类偏见提供了策略建议。