基于自然语言处理方法与大型语言模型的俄罗斯职位描述技能抽取比较分析
计算与语言
2024-09-17 v2
摘要
劳动市场正发生快速变革，求职者需求日益增长，而职位空缺也激增。从职位描述中识别必需技能和资格能力具有挑战性，这是由于雇主要求各不相同且可能遗漏关键技能。本研究通过比较基于编码器的传统命名实体识别（NER）方法与大型语言模型（LLM），针对从俄罗斯职位空缺中抽取技能来应对这些挑战。我们使用4,000个标注职位空缺进行训练，1,472个用于测试，评估两种方法的性能。结果表明，传统NER模型，特别是针对俄语优化的DeepPavlov RuBERT NER模型，在各种指标上（包括准确率、精确率、召回率和推理时间）均优于LLM。这些发现表明，传统NER模型为技能抽取提供更有效且更高效的解决方案，增强了职位要求的清晰度，帮助求职者将其资格与雇主期望相匹配。该研究为自然语言处理（NLP）领域及其在劳动市场中的应用，尤其是在非英语语境中，做出了贡献。
引用
@article{arxiv.2407.19816,
title = {Comparative Analysis of Encoder-Based NER and Large Language Models for Skill Extraction from Russian Job Vacancies},
author = {Nikita Matkin and Aleksei Smirnov and Mikhail Usanin and Egor Ivanov and Kirill Sobyanin and Sofiia Paklina and Petr Parshakov},
journal= {arXiv preprint arXiv:2407.19816},
year = {2024}
}