基于实体级Top-K稀疏化的通信高效联邦知识图谱嵌入
机器学习
2024-06-21 v1 人工智能
信息检索
摘要
联邦知识图谱嵌入学习(FKGE)在通信效率方面面临挑战，这源于参数规模庞大和通信轮次繁多。然而，现有的FKGE方法仅专注于通过在每个通信轮次中进行多轮本地训练来减少通信轮次，而忽略了减少每个通信轮次内传输的参数大小。为了解决这个问题，我们首先发现，在压缩过程中对所有实体进行嵌入精度的统一降低会显著阻碍收敛速度，这凸显了保持嵌入精度的重要性。然后，我们提出了一种基于实体级Top-K稀疏化策略的双向通信高效的FedS方法。在上传阶段，客户端动态识别并仅将变化较大的Top-K实体嵌入上传到服务器。在下载阶段，服务器首先为每个客户端执行个性化嵌入聚合。然后，它识别并将Top-K聚合嵌入传输给每个客户端。此外，FedS使用间歇同步机制来减轻由联邦知识图谱异质性引起的客户端共享实体间嵌入不一致的负面影响。在三个数据集上的大量实验表明，FedS在性能几乎没有（甚至没有）下降的情况下显著提高了通信效率。
引用
@article{arxiv.2406.13225,
title = {Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification},
author = {Xiaoxiong Zhang and Zhiwei Zeng and Xin Zhou and Dusit Niyato and Zhiqi Shen},
journal= {arXiv preprint arXiv:2406.13225},
year = {2024}
}