PromptCL：通过提示模板和对比学习改进事件表示
计算与语言
2024-04-30 v1
摘要
文本中事件的表示在各种自然语言处理任务中起着重要作用。最近的研究表明，对比学习能够提高预训练语言模型的事件理解能力，并增强事件表示学习的性能。然而，基于对比学习和预训练语言模型的事件表示学习的效果受到事件文本短长度的限制。事件文本的长度与预训练语言模型预训练中使用的文本长度存在显著差异。因此，预训练和事件表示学习之间的文本长度分布存在不一致性，这可能削弱基于预训练语言模型的事件表示学习过程。在本研究中，我们提出了PromptCL，一种新颖的事件表示学习框架，它有效地激发预训练语言模型的能力，以全面捕捉短事件文本的语义。PromptCL利用从提示学习中借鉴的提示模板，在对比学习期间扩展输入文本。这通过提供事件组件的结构化大纲，有助于增强事件表示学习。此外，我们提出了主-谓-宾语序和面向事件的掩码语言建模，以训练预训练语言模型理解事件组件之间的关系。我们的实验结果表明，PromptCL在事件相关任务上优于最先进的基线。此外，我们进行了彻底的分析，并证明使用提示可以提高事件表示的泛化能力。我们的代码将在https://github.com/YuboFeng2023/PromptCL提供。
引用
@article{arxiv.2404.17877,
title = {PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning},
author = {Yubo Feng and Lishuang Li and Yi Xiang and Xueyang Qin},
journal= {arXiv preprint arXiv:2404.17877},
year = {2024}
}
备注
NLPCC 2023 Best Student Paper