多头优于单头：模态知识专家混合用于实体表示学习

学习高质量的多模态实体表示是多模态知识图谱（MMKG）表示学习的一个重要目标，它可以增强MMKG内的推理任务，例如MMKG补全（MMKGC）。主要挑战在于协同建模海量三元组中隐藏的结构信息以及实体的多模态特征。现有方法专注于设计精巧的实体级多模态融合策略，然而它们忽视了在不同关系上下文中隐藏在模态内部的多视角特征的利用。为解决此问题，我们引入了一个新颖的框架——模态知识专家混合（简称MoMoK），以学习自适应的多模态实体表示，用于更好的MMKGC。我们设计了关系引导的模态知识专家来获取关系感知的模态嵌入，并整合来自多模态的预测以实现联合决策。此外，我们通过最小化专家之间的互信息来解耦它们。在四个公开的MMKG基准上的实验表明，MoMoK在复杂场景下具有卓越的性能。