通过基于 BERT 的标签与实例嵌入改进远程监督关系抽取

远程监督关系抽取（RE）是一种将 RE 扩展到大型语料库的有效方法，但存在标签噪声问题。现有方法试图通过多实例学习并提供额外信息来减轻噪声，但主要能识别高频关系，忽略了长尾中的关系。我们提出 REDSandT（Relation Extraction with Distant Supervision and Transformers），一种新颖的基于 transformer 的远程监督 RE 方法，通过分别利用 BERT 的预训练模型以及标签与实体之间的关系，为 RE 提供高度信息化的实例和标签嵌入，从而能够捕获更广泛的关系集合。我们通过在一个结构化输入（包括连接实体对及其类型的子树）上微调 BERT，引导 REDSandT 仅关注关系性 token。利用提取的信息化向量，我们构建标签嵌入，并将其用作实例上的注意力机制以进一步降低噪声。最后，我们通过拼接关系和实例嵌入来表示句子。在 NYT-10 数据集上的实验表明，REDSandT 以更高的置信度捕获了更广泛的关系集合，实现了最先进的 AUC（0.424）。