通过 LLM 微调与特征提取增强人才就业洞察
计算与语言
2025-01-15 v1
摘要
本文探讨了大型语言模型（LLM）在从非结构化招聘信息中提取细微且复杂的职位特征方面的应用。使用 AdeptID 提供的 120 万条招聘信息数据集，我们开发了一个稳健的流水线，以识别并分类远程办公可用性、薪酬结构、教育要求和工作经验偏好等变量。我们的方法结合了语义分块、检索增强生成（RAG）和微调 DistilBERT 模型，以克服传统解析工具的局限性。通过利用这些技术，我们在识别经常被误标或忽略的变量方面取得了显著改进，例如非薪资类补偿和推断出的远程办公类别。我们对微调模型进行了全面评估，并分析了其优势、局限性以及扩展潜力。这项工作突显了 LLM 在劳动力市场分析中的前景，为更准确、更具可操作性的就业数据洞察奠定了基础。
引用
@article{arxiv.2501.07663,
title = {Enhancing Talent Employment Insights Through Feature Extraction with LLM Finetuning},
author = {Karishma Thakrar and Nick Young},
journal= {arXiv preprint arXiv:2501.07663},
year = {2025}
}