面向知识图谱迁移的结构预训练与提示微调
机器学习
2023-03-08 v1 人工智能
计算与语言
摘要
知识图谱（KG）是许多任务中重要的背景知识提供方。在设计KG相关任务的模型时，关键任务之一是构建知识表示与融合（KRF）模块，该模块从KG中学习元素表示并与任务表示融合。由于不同KG的差异以及融合中需考虑视角不同，各任务间进行了重复且临时的KRF模块设计。本文提出一种新颖的知识图谱预训练模型KGTransformer，可作为多样KG相关任务中的统一KRF模块。我们使用三种自监督任务并以采样子图为输入来预训练KGTransformer。在使用时，我们提出一种通用提示微调机制，将任务数据视为三元组提示，以实现任务KG与任务数据间的灵活交互。我们在 triple分类、零样本图像分类和问答三项任务上评估了预训练的KGTransformer。KGTransformer一致取得优于专门设计的任务模型的结果。通过实验，我们证明预训练的KGTransformer可开箱即用，作为跨KG相关任务的通用且有效的KRF模块。代码与数据集见 https://github.com/zjukg/KGTransformer。
引用
@article{arxiv.2303.03922,
title = {Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer},
author = {Wen Zhang and Yushan Zhu and Mingyang Chen and Yuxia Geng and Yufeng Huang and Yajing Xu and Wenting Song and Huajun Chen},
journal= {arXiv preprint arXiv:2303.03922},
year = {2023}
}
备注
Work accepted by WWW2023