模态的黑暗面：强化多模态蒸馏用于多模态知识图谱推理
多媒体
2025-07-29 v1
摘要
多模态知识图谱推理(MKGR)任务旨在通过利用实体的辅助图像和描述来预测不完整 MKGs 中的缺失事实。现有方法使用单一目标进行训练，忽略了实体标签之间的概率性关联，尤其是非目标实体。此外，先前的研究静态或自适应地整合所有模态，忽略了来自不专业模态中无关或误导信息的负面影响。为此，我们引入一种新型的强化多模态蒸馏框架，探索模态的黑暗面(DSoM)，从两个视角：(1) 来自非目标实体的黑暗知识：我们提出通过逻辑蒸馏训练一个单模态 KGR 模型，以模仿来自预训练多模态教师模型提供的多模态软标签。多模态软标签可从多个角度为目标和非目标实体提供丰富的监督信号。我们进一步将逻辑分为邻近实体和非邻近实体，以划分为两种相关性。(2) 来自无帮助模态的黑暗面：为排除无帮助模态的负面影响，我们引入一种受强化的教师组合机制，动态选择每个三元组的最优模态教师集合。该代理被训练以最大化奖励，这些奖励仅分配给对学生模型有益的多模态组合策略。全面的实验表明，DSoM 框架在 5 个 MKGR 数据集上有效。代码可在 github.com/OreOZhao/DSoM 查看。
引用
@article{arxiv.2507.20738,
title = {Dark Side of Modalities: Reinforced Multimodal Distillation for Multimodal Knowledge Graph Reasoning},
author = {Yu Zhao and Ying Zhang and Xuhui Sui and Baohang Zhou and Haoze Zhu and Jeff Z. Pan and Xiaojie Yuan},
journal= {arXiv preprint arXiv:2507.20738},
year = {2025}
}
备注
Accepted by ACM MM 2025