利用技能-职业图上下文蒸馏大语言模型用于人力资源相关任务
计算与语言
2023-11-14 v1 机器学习
摘要
众多人力资源应用围绕简历和职位描述展开。虽然它们可以从NLP（自然语言处理）特别是大语言模型（LLM）的进展中受益，但由于缺乏针对各类HR任务的全面基准以及缺乏具有竞争力能力的小型模型，其现实世界的采用面临挑战。在本文中，我们旨在通过引入简历-职位描述基准（RJDB）来弥合这一差距。我们精心构建该基准以服务于广泛的HR任务，包括将简历与职位描述进行匹配和解释、从简历中提取技能和经历，以及编辑简历。为创建此基准，我们提出从大语言模型（LLM）中蒸馏领域特定知识。我们依赖精心策划的技能-职业图来确保多样性并为LLM生成提供上下文。我们的基准包含超过5万组职位描述、匹配简历和不匹配简历的三元组。使用RJDB，我们训练了多个较小的学生模型。我们的实验表明，学生模型达到了接近或优于教师模型（GPT-4）的性能，证实了该基准的有效性。此外，我们以零样本和弱监督方式探索了RJDB在分布外数据上用于技能提取和简历-职位描述匹配的效用。我们发布数据集和代码以促进进一步的研究和工业应用。
引用
@article{arxiv.2311.06383,
title = {Distilling Large Language Models using Skill-Occupation Graph Context for HR-Related Tasks},
author = {Pouya Pezeshkpour and Hayate Iso and Thom Lake and Nikita Bhutani and Estevam Hruschka},
journal= {arXiv preprint arXiv:2311.06383},
year = {2023}
}