面向多模态知识图谱嵌入的模态感知负采样
计算与语言
2023-04-25 v1 人工智能
摘要
负采样（NS）广泛用于知识图谱嵌入（KGE），旨在生成负三元组以在训练中做正负对比。然而，当 KGE 模型中考虑多模态信息时，现有 NS 方法并不适用。它们也因复杂设计而效率低下。本文提出面向多模态知识图谱嵌入（MMKGE）的模态感知负采样（MANS）以解决上述问题。MANS 可对 KG 中实体的结构与视觉嵌入对齐，并学习有意义的嵌入以在多模态 KGE 中表现更优，同时保持轻量与高效。在两个基准上的实验结果表明 MANS 优于现有 NS 方法。同时，我们对 MANS 做了进一步探究以确认其有效性。
引用
@article{arxiv.2304.11618,
title = {Modality-Aware Negative Sampling for Multi-modal Knowledge Graph Embedding},
author = {Yichi Zhang and Mingyang Chen and Wen Zhang},
journal= {arXiv preprint arXiv:2304.11618},
year = {2023}
}
备注
Accepted by IJCNN2023. Code is released in https://github.com/zjukg/MANS