知识图谱表示学习的 PAC-Bayesian 泛化界
机器学习
2024-06-04 v2 人工智能
机器学习
摘要
尽管过去十年间提出了多种知识图谱表示学习（KGRL）方法，但对其进行理论分析的工作寥寥无几。在本文中，我们首次提出了 KGRL 方法的 PAC-Bayesian 泛化界。为了分析广泛的 KGRL 模型类，我们提出了一个名为 ReED（关系感知编码器-解码器）的通用框架，该框架由关系感知消息传递编码器和三元组分类解码器组成。我们的 ReED 框架可以表达至少 15 种不同的现有 KGRL 模型，不仅包括基于图神经网络的模型（如 R-GCN 和 CompGCN），还包括浅架构模型（如 RotatE 和 ANALOGY）。我们对 ReED 框架的泛化界为 KGRL 中常用的技巧（例如参数共享和权重归一化方案）提供了理论基础，并为实用的 KGRL 方法指导了理想的设计选择。我们实证表明，泛化界中的关键因素能够解释三个真实世界知识图谱上的实际泛化误差。
引用
@article{arxiv.2405.06418,
title = {PAC-Bayesian Generalization Bounds for Knowledge Graph Representation Learning},
author = {Jaejun Lee and Minsung Hwang and Joyce Jiyoung Whang},
journal= {arXiv preprint arXiv:2405.06418},
year = {2024}
}
备注
32 pages, 3 figures, 4 tables, The 41st International Conference on Machine Learning (ICML 2024)