Prompt2Gaussia：面向脚本事件预测的含不确定性提示学习
计算与语言
2023-08-07 v1
摘要
脚本事件预测（SEP）旨在从候选列表中预测给定事件链的后续事件。先前研究通过整合外部知识以增强语义取得了巨大成功，但获取合适的知识资源并检索与脚本相关的知识颇为费力。本文将公开预训练语言模型视为知识库，并通过提示学习自动挖掘与脚本相关的知识。然而，脚本中的场景多样性与标签歧义使得在提示学习中构建最具功能的提示与标签词元存在不确定性，即提示不确定性与 verbalizer 不确定性。考虑到高斯分布表达不确定性的先天能力，我们将提示词元与标签词元部署为服从高斯分布的随机变量，并提出提示估计器与 verbalizer 估计器来估计其概率表示，以替代确定性表示。我们率先在 SEP 中探索提示学习，并为丰富脚本语义提供了新视角。我们的方法在最广泛使用的基准与新提出的大规模基准上进行了评估。实验表明，受益于从预训练语言模型激发的知识，我们的方法在两个基准上分别比先前基线高出 1.46% 和 1.05%。
引用
@article{arxiv.2308.02103,
title = {Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction},
author = {Shiyao Cui and Xin Cong and Jiawei Sheng and Xuebin Wang and Tingwen Liu and Jinqiao Shi},
journal= {arXiv preprint arXiv:2308.02103},
year = {2023}
}
备注
16 pages