用于大语言模型零样本链路预测的浓缩转移图框架
计算与语言
2024-11-27 v2
摘要
知识图谱上的零样本链路预测（ZSLP）旨在自动识别给定实体之间的关系。现有方法主要利用辅助信息，在给定头实体及其关系的情况下预测尾实体，但由于此类详细信息的偶尔不可用，以及仅基于语义相似性预测尾实体的固有简单性，这些方法面临挑战。尽管大语言模型（LLMs）为零样本预测头尾实体间未观测到的关系提供了有希望的解决方案，但由于无法利用两个实体之间所有（指数级数量的）路径信息（这些信息对于共同指示其关系类型至关重要），其性能仍然受到限制。为解决这一问题，我们在本文中引入了用于零样本链路预测的浓缩转移图框架（CTLP），该框架以线性时间复杂度编码所有路径信息以预测实体间的未见关系，同时实现了效率和信息保留。具体而言，我们设计了一个浓缩转移图编码器，并在其覆盖范围、表达力和效率方面提供了理论保证。该编码器通过转移图对比学习策略进行学习。随后，我们设计了软指令微调，以学习并将全路径嵌入映射到大语言模型的输入。实验结果表明，我们提出的 CTLP 方法在三个标准 ZSLP 数据集上达到了最先进的性能。
引用
@article{arxiv.2402.10779,
title = {A Condensed Transition Graph Framework for Zero-shot Link Prediction with Large Language Models},
author = {Mingchen Li and Chen Ling and Rui Zhang and Liang Zhao},
journal= {arXiv preprint arXiv:2402.10779},
year = {2024}
}
备注
Published as a conference paper at ICDM 2024