OccuQuest：缓解职业偏见以实现包容性大语言模型
计算与语言
2023-10-26 v1
摘要
大语言模型（LLMs）的出现革新了自然语言处理任务。然而，现有的指令微调数据集存在职业偏见：绝大多数数据仅与少数职业相关，这阻碍了指令微调后的 LLMs 为特定领域从业者的专业查询生成有用回复。为缓解此问题并推动职业包容的 LLMs，我们创建了名为 \emph{OccuQuest} 的指令微调数据集，其包含 110,000+ 提示-补全对及 30,000+ 对话，覆盖 26 个职业类别中的 1,000+ 职业。我们系统性地请求 ChatGPT，基于职业、职责、主题与问题分层组织查询，以确保对职业专业询问的全面覆盖。通过与三个常用数据集（Dolly、ShareGPT 和 WizardLM）比较，我们观察到 OccuQuest 在职业间分布更均衡。此外，我们构建了三个测试集用于综合评估：覆盖 25 个职业类别的 occu-test 集、聚焦房地产的 estate 集，以及包含来自 Quora 真实世界问题的 occu-quora 集。随后我们在 OccuQuest 上微调 LLaMA 得到 OccuLLaMA，其在 GPT-4 与人类评估中的专业问题上显著优于最先进的 LLaMA 变体（Vicuna、Tulu 和 WizardLM）。值得注意的是，在 occu-quora 集上，OccuLLaMA 对 WizardLM 达到了 86.4% 的高胜率。
引用
@article{arxiv.2310.16517,
title = {OccuQuest: Mitigating Occupational Bias for Inclusive Large Language Models},
author = {Mingfeng Xue and Dayiheng Liu and Kexin Yang and Guanting Dong and Wenqiang Lei and Zheng Yuan and Chang Zhou and Jingren Zhou},
journal= {arXiv preprint arXiv:2310.16517},
year = {2023}
}