面向跨语言关系抽取的提示学习
计算与语言
2023-04-21 v1
摘要
关系抽取(RE)是信息抽取中的关键任务，旨在预测给定句子中实体间的关系。然而，将预训练RE模型扩展到其他语言具有挑战性，尤其在需要跨语言关系抽取(XRE)的真实场景之中。尽管近期提示学习(Prompt-Learning)通过将知识从多语言预训练语言模型(PLMs)迁移到多样下游任务取得了进展，但关于有效利用带提示的多语言PLM来改善XRE的研究仍然有限。在本文中，我们提出一种基于提示微调(Prompt-Tuning)的新型XRE算法，称为Prompt-XRE。为评估其有效性，我们设计实现了若干提示模板，包括硬提示、软提示与混合提示，并在具有竞争力的多语言PLM（特别是mBART）上对其性能进行实证测试。我们在低资源ACE05基准上跨多种语言开展的广泛实验表明，我们的Prompt-XRE算法显著优于原始多语言PLM及其他现有模型，在XRE中达到了最先进(state-of-the-art)性能。为进一步展示我们的Prompt-XRE在更大数据规模上的泛化能力，我们构建并发布了一个新的XRE数据集——WMT17-EnZh XRE，包含从WMT 2017平行语料库抽取的0.9M英中句对。在WMT17-EnZh XRE上的实验同样显示了我们的Prompt-XRE相对于其他竞争基线的有效性。代码与新构建的数据集可在\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}免费获取。
引用
@article{arxiv.2304.10354,
title = {Prompt-Learning for Cross-Lingual Relation Extraction},
author = {Chiaming Hsu and Changtong Zan and Liang Ding and Longyue Wang and Xiaoting Wang and Weifeng Liu and Fu Lin and Wenbin Hu},
journal= {arXiv preprint arXiv:2304.10354},
year = {2023}
}
备注
IJCNN 2023