ZS-BERT:面向属性表示学习的零样本关系抽取
计算与语言
2021-04-13 v1 信息检索
机器学习
摘要
关系抽取是知识获取与表示中的关键任务,且新生成关系在现实中十分常见,但针对训练阶段不可见的未观测关系进行预测的研究尚少。本文通过引入已知与未知关系的文本描述,形式化零样本关系抽取问题。我们提出一种新颖多任务学习模型——零样本 BERT (ZS-BERT),无需手工属性标注与多次成对分类即可直接预测未知关系。给定由输入句子及其关系描述组成的训练实例,ZS-BERT 通过学习两个函数将句子与关系描述投影至嵌入空间,联合最小化二者间距并分类已知关系。基于这两个函数生成未知关系与新句子的嵌入后,我们使用最近邻搜索得到未知关系的预测。在两个知名数据集上的实验表明,ZS-BERT 在 F1 分数上至少超越现有方法 13.54%。
引用
@article{arxiv.2104.04697,
title = {ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning},
author = {Chih-Yao Chen and Cheng-Te Li},
journal= {arXiv preprint arXiv:2104.04697},
year = {2021}
}
备注
Accepted to NAACL 2021. Code is available at https://github.com/dinobby/ZS-BERT