利用无行通用模式泛化至未见实体与实体对
计算与语言
2017-01-11 v2
摘要
Universal schema 通过联合嵌入所有可用模式类型的并集——不仅包括来自多个结构化数据库（如 Freebase 或 Wikipedia infoboxes）的类型，还包括从原始文本中表达为文本模式的类型——来预测知识库（KB）中实体和关系的类型。这种预测通常被建模为矩阵补全问题，其中每列对应一种类型，每行对应一个或两个实体（分别对应实体类型或二元关系类型的情况）。对该稀疏观测矩阵进行分解，可为每一行和每一列学习到向量嵌入。在本文中，我们探讨了在训练时未见的实体或实体对（因此没有预学习的行嵌入）进行预测的问题。我们提出了一种完全没有逐行参数的方法；相反，我们利用该行所观测列向量的学习聚合函数，动态生成行向量。我们尝试了多种聚合函数，包括神经网络注意力模型。我们的方法可以理解为一种自然语言数据库，即关于 KB 实体的问题通过关注文本或数据库证据来回答。在预测关系和实体类型的实验中，我们证明了尽管参数数量比传统 universal schema 少了一个数量级，我们仍能匹配传统模型的准确率，更重要的是，我们现在可以对未见的行进行预测，且准确率几乎与训练时可用行相同。
引用
@article{arxiv.1606.05804,
title = {Generalizing to Unseen Entities and Entity Pairs with Row-less Universal Schema},
author = {Patrick Verga and Arvind Neelakantan and Andrew McCallum},
journal= {arXiv preprint arXiv:1606.05804},
year = {2017}
}
备注
EACL 2017. arXiv admin note: text overlap with arXiv:1604.06361