将关系抽取视为开卷考试:检索增强的提示微调
计算与语言
2023-09-20 v2 人工智能
信息检索
机器学习
摘要
预训练语言模型凭借其卓越的少样本学习能力,为关系抽取做出了重要贡献。然而,用于关系抽取的提示微调方法仍可能难以泛化到那些稀有或困难的模式。值得注意的是,先前的参数化学习范式可视为以训练数据为书、以推理为闭卷考试的记忆过程。在少样本实例下,那些长尾或困难模式很难被参数所记忆。为此,我们将关系抽取(RE)视为开卷考试,并提出一种用于关系抽取的检索增强提示微调的新半参数化范式。我们构建了一个用于检索的开卷数据存储,将基于提示的实例表示及相应关系标签作为记忆的键值对。在推理时,模型可通过将 PLM 的基础输出与数据存储上非参数的最近邻分布进行线性插值来推断关系。如此,我们的模型不仅通过训练期间存储于权重中的知识来推断关系,还可通过展开并查询开卷数据存储中的示例来辅助决策。在基准数据集上的大量实验表明,我们的方法在标准监督和少样本设定下均能取得最先进(state-of-the-art)性能。代码见 https://github.com/zjunlp/PromptKG/tree/main/research/RetrievalRE。
引用
@article{arxiv.2205.02355,
title = {Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning},
author = {Xiang Chen and Lei Li and Ningyu Zhang and Chuanqi Tan and Fei Huang and Luo Si and Huajun Chen},
journal= {arXiv preprint arXiv:2205.02355},
year = {2023}
}
备注
Accepted by SIGIR 2022, short paper