用于远程监督关系抽取的文本与知识图谱编码器交叉缝合
计算与语言
2022-11-04 v1 机器学习
摘要
用于远程监督关系抽取的双编码器架构旨在利用文本和知识图谱（KG）中发现的互补信息。然而，当前的架构存在两个缺陷。它们要么完全不允许文本编码器和KG编码器之间的任何共享，要么在具有KG到文本注意力的模型情况下，仅单向共享信息。在此，我们引入交叉缝合双编码器（cross-stitch bi-encoders），其通过交叉缝合机制允许文本编码器和KG编码器之间的充分交互。交叉缝合机制允许在两个编码器的任意层之间共享和更新表示，共享的量通过基于交叉注意力的门动态控制。在两个不同领域的关系抽取基准上的实验结果表明，启用两个编码器之间的充分交互带来了显著的改进。
引用
@article{arxiv.2211.01432,
title = {Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction},
author = {Qin Dai and Benjamin Heinzerling and Kentaro Inui},
journal= {arXiv preprint arXiv:2211.01432},
year = {2022}
}