Roof-Transformer：基于知识增强的分割与联合理解
计算与语言
2022-10-21 v2
摘要
近期利用知识图谱（KGs）和知识库（KBs）增强基于 BERT 的语言表征模型的工作，在多个 NLP 任务上取得了有前景的结果。最先进的方法通常将原始输入句子与 KG 三元组整合，并将组合表征输入 BERT 模型。然而，由于 BERT 模型的序列长度有限，此类框架除原始输入句子外仅支持少量知识，因此被迫丢弃部分知识。对于输入为长段落甚至文档的下游任务（如 QA 或阅读理解任务），该问题尤为严重。我们通过 Roof-Transformer 解决此问题，该模型具有两个底层 BERT 和一个顶部的融合层。一个底层 BERT 编码知识资源，另一个编码原始输入句子，融合层整合两种所得编码。在 QA 任务和 GLUE 基准上的实验结果证实了所提模型的有效性。
引用
@article{arxiv.2112.06736,
title = {Roof-Transformer: Divided and Joined Understanding with Knowledge Enhancement},
author = {Wei-Lin Liao and Cheng-En Su and Wei-Yun Ma},
journal= {arXiv preprint arXiv:2112.06736},
year = {2022}
}