蘸取预训练语言模型酱汁：基于条件软提示打通结构与文本以实现高效知识图谱补全
计算与语言
2023-07-06 v1
摘要
知识图谱补全（KGC）通常需要同时利用知识图谱的结构信息与文本信息才能取得良好效果。预训练语言模型（PLMs）已被用于学习文本信息，通常在该任务下采用微调范式。然而，微调后的 PLMs 往往过度关注文本信息而忽略结构知识。为解决此问题，本文提出 CSProm-KG（面向 KGC 的条件软提示，Conditional Soft Prompts for KGC），在结构信息与文本知识之间保持平衡。CSProm-KG 仅调优由实体与关系表示生成的条件软提示的参数。我们在三个流行的静态 KGC 基准 WN18RR、FB15K-237 和 Wikidata5M，以及两个时序 KGC 基准 ICEWS14 和 ICEWS05-15 上验证了 CSProm-KG 的有效性。CSProm-KG 优于具有竞争力的基线模型，并在这些基准上刷新了最优性能（state-of-the-art）。我们进一步分析表明：(i) 所提各组件的有效性，(ii) CSProm-KG 的高效性，以及 (iii) CSProm-KG 的灵活性。
引用
@article{arxiv.2307.01709,
title = {Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting},
author = {Chen Chen and Yufei Wang and Aixin Sun and Bing Li and Kwok-Yan Lam},
journal= {arXiv preprint arXiv:2307.01709},
year = {2023}
}
备注
Accepted by ACL 2023 Findings, Long Paper