用于实体搜索的实体感知 Transformer
信息检索
2022-05-03 v1 计算与语言
摘要
诸如 BERT 的预训练语言模型已成为在自然语言处理多种任务上取得最先进结果的关键要素，且近来也在信息检索中如此。近期研究甚至声称 BERT 能够捕获关于实体关系与属性的事实性知识，即通常从知识图谱中获得的信息。本文研究以下问题：基于 BERT 的实体检索模型是否受益于知识图谱中存储的额外实体信息？为回答该研究问题，我们将实体嵌入映射到与预训练 BERT 模型相同的输入空间，并将这些实体嵌入注入 BERT 模型。随后该实体富集语言模型被用于实体检索任务。我们表明，实体富集 BERT 模型在面向实体的查询上较常规 BERT 模型提升了效果，为实体检索任务确立了新的 SOTA 结果，对于复杂自然语言查询和请求具有某属性的实体列表的查询有实质性改进。此外，我们表明由我们的实体富集模型提供的实体信息尤其有助于与较冷门实体相关的查询。最后，我们经实验观察到，实体富集 BERT 模型能够在有限训练数据上微调，否则由于 BERT 在少样本微调中已知的不稳定性这将不可行，从而有助于用于实体搜索的 BERT 的数据高效训练。
引用
@article{arxiv.2205.00820,
title = {Entity-aware Transformers for Entity Search},
author = {Emma J. Gerritse and Faegheh Hasibi and Arjen P. de Vries},
journal= {arXiv preprint arXiv:2205.00820},
year = {2022}
}