基于知识蒸馏的低维联邦知识图谱嵌入
人工智能
2026-01-13 v3 机器学习
摘要
联邦知识图谱嵌入（FKGE）旨在促进来自多个客户端的分布式知识图谱（KGs）中实体和关系嵌入的协作学习，同时保护数据隐私。使用更高维度训练 FKGE 模型通常因其实现更优性能的潜力而受到青睐。然而，高维嵌入在存储资源和推理速度方面带来重大挑战。与传统 KG 嵌入方法不同，FKGE 涉及多轮客户端-服务器通信，其中通信效率至关重要。现有的传统 KG 嵌入压缩方法可能不直接适用于 FKGE，因为它们通常需要多次模型训练，可能产生大量通信成本。在本文中，我们提出了一种基于知识蒸馏（KD）的轻量级组件 FedKD，专门针对 FKGE 方法。在客户端本地训练期间，FedKD 利用 KL 散度损失使低维学生模型模仿高维教师模型的三元组得分分布。与传统 KD 方式不同，FedKD 自适应地学习一个温度来缩放正三元组的得分，并使用预定义温度分别调整对应负三元组的得分，从而缓解教师过度自信问题。此外，我们动态调整 KD 损失的权重以优化训练过程。在三个数据集上的大量实验证实了 FedKD 的有效性。
引用
@article{arxiv.2408.05748,
title = {Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation},
author = {Xiaoxiong Zhang and Zhiwei Zeng and Xin Zhou and Chunyan Miao},
journal= {arXiv preprint arXiv:2408.05748},
year = {2026}
}