MACO：一种用于模态缺失多模态知识图谱补全的模态对抗与对比框架
计算与语言
2023-08-15 v1 人工智能
多媒体
摘要
近年来，多模态知识图谱补全（MMKGC）取得了显著进展。MMKGC 通过整合多模态实体信息来增强知识图谱补全（KGC），从而有助于发现大规模知识图谱（KGs）中未观测到的三元组。然而，现有方法侧重于设计优雅的 KGC 模型以促进模态交互，忽视了知识图谱中模态缺失这一现实问题。缺失的模态信息阻碍了模态交互，进而削弱模型性能。本文提出一种模态对抗与对比框架（MACO）以解决 MMKGC 中的模态缺失问题。MACO 以对抗方式训练生成器与判别器，生成可纳入 MMKGC 模型的缺失模态特征。同时，我们设计了一种跨模态对比损失以提升生成器性能。在公开基准上的实验及进一步探索表明，MACO 能够取得最先进（state-of-the-art）结果，并可作为增强各类 MMKGC 模型的多功能框架。我们的代码与基准数据发布于 https://github.com/zjukg/MACO。
引用
@article{arxiv.2308.06696,
title = {MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion},
author = {Yichi Zhang and Zhuo Chen and Wen Zhang},
journal= {arXiv preprint arXiv:2308.06696},
year = {2023}
}
备注
This is the ArXiv version of our paper accepted by NLPCC 2023. The code will be released soon