LLM4Jobs：利用大语言模型的无监督职业抽取与标准化
计算与语言
2023-09-20 v2 人工智能
摘要
从自由文本招聘信息和简历中自动抽取并标准化职业，对于职位推荐和劳动力市场政策制定等应用至关重要。本文介绍 LLM4Jobs，一种新颖的无监督方法，其利用大语言模型（LLMs）的能力进行职业编码。LLM4Jobs 独特地同时利用了 LLMs 的自然语言理解与生成能力。通过在合成与真实世界数据集上的严格实验评估，我们证明 LLM4Jobs 持续超越无监督最先进（state-of-the-art）基准，展示了其在不同数据集与粒度上的通用性。作为本工作的附带成果，我们提供了合成与真实世界数据集，可能对后续该领域的研究有所帮助。总体而言，本研究表明了当代 LLMs 在职业抽取与标准化这一复杂任务上的潜力，为面向研究与工业场景的鲁棒且可适配框架奠定了基础。
引用
@article{arxiv.2309.09708,
title = {LLM4Jobs: Unsupervised occupation extraction and standardization leveraging Large Language Models},
author = {Nan Li and Bo Kang and Tijl De Bie},
journal= {arXiv preprint arXiv:2309.09708},
year = {2023}
}