SPE：用于事实探测的对称提示增强方法
计算与语言
2022-11-15 v1 人工智能
机器学习
摘要
预训练语言模型（PLMs）已被证明在预训练过程中积累了事实知识（Petroni et al., 2019）。近期工作通过离散或连续形式的提示来探测 PLMs 中此类知识的程度。然而，这些方法未考虑任务的对称性：客体预测与主体预测。在本工作中，我们提出对称提示增强（SPE），一种基于连续提示的 PLMs 事实探测方法，其通过为主体预测和客体预测构建对称提示来利用任务的对称性。我们在流行的事实探测数据集 LAMA 上的结果表明，SPE 相较先前的探测方法取得了显著提升。
引用
@article{arxiv.2211.07078,
title = {SPE: Symmetrical Prompt Enhancement for Fact Probing},
author = {Yiyuan Li and Tong Che and Yezhen Wang and Zhengbao Jiang and Caiming Xiong and Snigdha Chaturvedi},
journal= {arXiv preprint arXiv:2211.07078},
year = {2022}
}
备注
accepted at EMNLP 2022