通过连接子图预训练实现少样本关系推理
机器学习
2022-10-14 v1 人工智能
计算与语言
摘要
少样本知识图谱（KG）补全任务旨在对 KG 进行归纳推理：给定某个新关系 仅少量支持三元组（如 (chop,,kitchen)、(read,,library)），目标是预测同一未见关系 的查询三元组，例如 (sleep,,?)。当前方法将问题置于元学习框架中，模型需先在许多训练少样本任务上联合训练，每个任务由各自关系定义，以使目标少样本任务上的学习/预测有效。然而，在真实世界 KG 中，策划许多训练任务是一项具挑战性的临时过程。本文提出连接子图推理器（CSR），可直接对目标少样本任务进行预测，无需在人工策划的训练任务集上预训练。CSR 的关键在于受消去归纳原理启发，显式建模支持与查询三元组间共享的连接子图。为适配特定 KG，我们设计相应自监督预训练方案，以重构自动采样的连接子图为 objective。我们的预训练模型随后可直接应用于目标少样本任务而无需训练少样本任务。在包括 NELL、FB15K-237 与 ConceptNet 的真实 KG 上的大量实验证明了框架有效性：我们展示即便无学习的 CSR 实现已在目标少样本任务上具竞争力；经预训练，CSR 在更具挑战性、实体在（预）训练中也未见的归纳少样本任务上可取得最高达 52% 的显著提升。
引用
@article{arxiv.2210.06722,
title = {Few-shot Relational Reasoning via Connection Subgraph Pretraining},
author = {Qian Huang and Hongyu Ren and Jure Leskovec},
journal= {arXiv preprint arXiv:2210.06722},
year = {2022}
}
备注
NeurIPS 2022. Open source implementation at https://github.com/snap-stanford/csr