面向多样化下游任务的多领域知识图谱协同预训练与提示微调

知识图谱以结构化三元组的形式为广泛的 AI 任务提供可靠的外部知识。知识图谱预训练旨在基于大规模知识图谱预训练神经网络，并提供统一接口以增强不同的下游任务，这是知识图谱管理、维护和应用的关键方向。现有工作通常关注开放领域的纯研究问题，或者由于真实场景中的数据安全和隐私问题而未开源。同时，现有研究尚未深入探讨知识图谱预训练模型的训练效率和可迁移性。针对这些问题，我们提出了 MuDoK 框架，以实现多领域协同预训练和高效的前缀提示微调，从而服务于推荐和文本理解等多样化下游任务。我们的设计是一种即插即用的提示学习方法，可灵活适应不同的下游任务骨干网络。针对开源基准的缺失，我们构建了一个名为 KPI 的新型多领域知识图谱预训练基准，包含两个大规模知识图谱和六个不同的子领域任务以评估我们的方法，并将其开源供后续研究使用。我们基于构建的 KPI 基准，在异构下游任务中使用多样的骨干模型对我们的方法进行了评估。实验结果表明，我们的框架带来了显著的性能提升，并具备良好的通用性、效率和可迁移性。