通过基于指令的微调与带规则提示调优提升PLM在劳动力市场任务上的表现
计算与语言
2023-09-01 v1
摘要
劳动力市场的日益数字化为研究人员、教育者和企业提供了分析和更好理解劳动力市场的手段。然而，劳动力市场资源尽管体量庞大，往往是非结构化的，因此针对实体识别、链接与抽取的方法学研究变得愈发重要。在此类寻求更好劳动力市场表征的背景下，资源限制与大规模标注数据的缺失导致对人类领域专家的依赖。我们展示了在劳动力市场特定应用中对预训练语言模型（PLM）进行基于提示调优的有效性。我们的结果表明，诸如PTR和无示例指令微调等成本高效的方法，可在不引入额外模型层、人工标注与数据增强的情况下，显著提升PLM在下游劳动力市场应用上的表现。
引用
@article{arxiv.2308.16770,
title = {Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules},
author = {Jarno Vrolijk and David Graus},
journal= {arXiv preprint arXiv:2308.16770},
year = {2023}
}
备注
accepted for publication at RecSys in HR 2023