基于预训练语言模型的职业市场理解与建模
信息检索
2024-08-09 v1
摘要
职业市场是一个由成员（求职者）、公司和职位之间的相互作用构成的异构图。理解和建模职业市场有助于求职者和雇主，最终促进社会的整体福祉。然而，现有的基于图神经网络（GNN）的方法对关联文本特征和异构关系的理解尚浅。为此，我们提出PLM4Job，一种将预训练语言模型（PLM）紧密耦合于职业市场图的职业市场基础模型，旨在充分利用预训练知识和推理能力，同时对成员/职位文本特征以及各种成员-职位关系进行建模。在预训练阶段，我们提出基于异构 ego 图的提示策略，以目标成员/职位节点周围的拓扑结构为基础，对成员/职位文本特征进行建模和聚合，其中引入实体类型嵌入和图位置嵌入，以建模不同实体及其异构关系。同时，设计了一种基于接近性的注意力对齐策略，以动态调整PLM对 ego 图节点标记的注意力，从而使注意力更好地与职业市场语义对齐。在LinkedIn上进行的大量实验表明，PLM4Job的有效性。
引用
@article{arxiv.2408.04381,
title = {Understanding and Modeling Job Marketplace with Pretrained Language Models},
author = {Yaochen Zhu and Liang Wu and Binchi Zhang and Song Wang and Qi Guo and Liangjie Hong and Luke Simon and Jundong Li},
journal= {arXiv preprint arXiv:2408.04381},
year = {2024}
}
备注
accepted by CIKM'24 applied research track