HittER：用于知识图谱嵌入的层次化 Transformer
计算与语言
2021-10-07 v2 机器学习
摘要
本文研究在复杂多关系知识图谱中学习实体与关系表示的挑战性问题。我们提出 HittER，一种层次化 Transformer 模型，基于源实体的邻域联合学习实体-关系组合与关系语境化。我们提出的模型由两个不同 Transformer 块组成：底层块提取源实体局部邻域中每个实体-关系对的特征，顶层块聚合来自底层块输出的关系信息。我们进一步设计了一个掩码实体预测任务，以平衡来自关系上下文与源实体本身的信息。实验结果表明，HittER 在多个链接预测数据集上取得了新的 SOTA 结果。我们还提出了一种将 HittER 集成到 BERT 的简单方法，并在两个 Freebase 事实型问答数据集上展示了其有效性。
引用
@article{arxiv.2008.12813,
title = {HittER: Hierarchical Transformers for Knowledge Graph Embeddings},
author = {Sanxing Chen and Xiaodong Liu and Jianfeng Gao and Jian Jiao and Ruofei Zhang and Yangfeng Ji},
journal= {arXiv preprint arXiv:2008.12813},
year = {2021}
}
备注
EMNLP 2021