中文

TemPrompt:面向基于 RAG 的众包系统中时序关系抽取的多任务提示学习

计算与语言 2024-07-10 v4

摘要

时序关系抽取(TRE)旨在把握事件或行为的演变,从而塑造相关任务的工作流程,因而在帮助理解众包系统中请求者提出的任务请求方面具有潜在价值。然而,现有方法仍在面对有限且分布不均的标注数据时困难重重。因此,灵感来自预训练语言模型(PLMs)中存储的丰富全球知识,我们提出了一个用于 TRE 的多任务提示学习框架(TemPrompt),集成提示调优和对比学习以解决上述问题。为更有效地激发 PLMs 的提示,我们引入一种充分考虑 TRE 众多因素的任务导向提示构建方法,以实现自动提示生成。此外,我们将时序事件推理形式化为掩码语言模型,以辅助任务加强模型对事件和时序线索的关注。实验结果表明,TemPrompt 在标准和少量样本设置下均优于所有比较基线。针对众包场景中的印刷电路板设计与制造提供了一个案例研究,以验证其有效性。

关键词

引用

@article{arxiv.2406.14825,
  title  = {TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems},
  author = {Jing Yang and Yu Zhao and Linyao Yang and Xiao Wang and Long Chen and Fei-Yue Wang},
  journal= {arXiv preprint arXiv:2406.14825},
  year   = {2024}
}

备注

12 pages, 9 figures