释放不平衡模态信息的力量用于多模态知识图谱补全

多模态知识图谱补全（MMKGC）旨在通过将实体的结构、视觉和文本信息整合到判别模型中，预测多模态知识图谱中缺失的三元组。来自不同模态的信息将共同作用以衡量三元组的合理性。现有的MMKGC方法忽略了实体间模态信息的不平衡问题，导致模态融合不充分和原始模态信息利用效率低下。为了解决上述问题，我们提出了自适应多模态融合与模态对抗训练（AdaMF-MAT），以释放不平衡模态信息的力量用于MMKGC。AdaMF-MAT通过自适应模态权重实现多模态融合，并进一步通过模态对抗训练生成对抗样本来增强不平衡的模态信息。我们的方法是MMKGC模型与训练策略的协同设计，能够超越19种近期MMKGC方法，并在三个公开MMKGC基准上取得新的最先进结果。我们的代码和数据已在https://github.com/zjukg/AdaMF-MAT发布。