MoSE：面向多模态知识图谱补全的模态拆分与集成框架
计算与语言
2022-11-02 v2 多媒体
摘要
多模态知识图谱补全（MKGC）旨在预测多模态知识图谱（MKG）中缺失的实体。以往工作通常在各模态间共享关系表征，这导致训练期间模态间相互干扰，因为对于一对实体，来自某一模态的关系可能与另一模态的关系相矛盾。此外，基于共享关系表征进行统一预测，对来自不同模态的输入等同对待，而这些输入对 MKGC 任务的重要性本应不同。本文提出 MoSE，一种用于 MKGC 的模态拆分表征学习与集成推断框架。具体而言，在训练阶段，我们为各模态学习模态拆分的关系嵌入，而非单一的模态共享嵌入，从而缓解模态干扰。基于这些嵌入，在推断阶段，我们首先进行模态拆分的预测，然后利用多种集成方法以不同权重组合预测结果，从而动态建模模态重要性。在三个知识图谱数据集上的实验结果表明，MoSE 优于当前最优的 MKGC 方法。代码见 https://github.com/OreOZhao/MoSE4MKGC。
引用
@article{arxiv.2210.08821,
title = {MoSE: Modality Split and Ensemble for Multimodal Knowledge Graph Completion},
author = {Yu Zhao and Xiangrui Cai and Yike Wu and Haiwei Zhang and Ying Zhang and Guoqing Zhao and Ning Jiang},
journal= {arXiv preprint arXiv:2210.08821},
year = {2022}
}
备注
Accepted by EMNLP 2022