基于双蒸馏的高模态插值扩散嵌入用于联邦多模态知识图谱完成
机器学习
2025-06-30 v1 多媒体
摘要
随着多模态知识隐私化需求的增加，不同机构之间的多模态知识图谱通常是分散的，缺乏具备更强推理能力和传输安全保障的有效协作系统。本文提出了联邦多模态知识图谱完成（Federated Multimodal Knowledge Graph Completion, FedMKGC）任务，旨在在不共享敏感知识的情况下，更好地预测客户端中缺失的链接。我们提出了名为 MMFeD3-HidE 的框架，用于解决 FedMKGC 中多模态不可用性和多模态客户端异构性挑战。（1）在客户端内部，我们提出的高模态插值扩散嵌入模型（Hyper-modal Imputation Diffusion Embedding, HidE）受限于可用模态，从完整的实体嵌入中恢复完整的多模态分布。（2）在客户端之间，我们提出的多模态联邦双蒸馏（Multimodal FeDerated Dual Distillation, MMFeD3）通过逻辑蒸馏和特征蒸馏在客户端和服务器之间相互传递知识，以提高全局收敛性和语义一致性。我们提出了一个 FedMKGC 基准进行全面评估，包括一个通用的 FedMKGC 基座模型 MMFedE、包含异构多模态信息的数据集，以及三组构建的基线方法。实验在我们的基准上验证了 MMFeD3-HidE 的有效性、语义一致性和收敛鲁棒性。
引用
@article{arxiv.2506.22036,
title = {Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion},
author = {Ying Zhang and Yu Zhao and Xuhui Sui and Baohang Zhou and Xiangrui Cai and Li Shen and Xiaojie Yuan and Dacheng Tao},
journal= {arXiv preprint arXiv:2506.22036},
year = {2025}
}
备注
Submitted to the IEEE for possible publication