用知识图谱嵌入增强 BERT 以进行文档分类
计算与语言
2019-09-19 v1 信息检索
机器学习
摘要
在本文中，我们关注利用简短描述性文本（封面简介）和附加元数据对书籍进行分类。基于深度神经语言模型 BERT，我们展示了如何将文本表示与元数据和编码作者信息的知识图谱嵌入相结合。与标准 BERT 方法相比，我们在分类任务上取得了明显更好的结果。对于使用八个标签的更粗粒度分类，我们取得了 87.20 的 F1 值，而使用 343 个标签的细粒度分类取得了 64.70 的 F1 值。我们将实验的源代码和训练好的模型公开可用。
引用
@article{arxiv.1909.08402,
title = {Enriching BERT with Knowledge Graph Embeddings for Document Classification},
author = {Malte Ostendorff and Peter Bourgonje and Maria Berger and Julian Moreno-Schneider and Georg Rehm and Bela Gipp},
journal= {arXiv preprint arXiv:1909.08402},
year = {2019}
}