基于预训练多模态 Transformer 与孪生负采样的知识图谱补全
人工智能
2022-09-16 v1 计算与语言
摘要
将世界知识建模为结构化三元组的知识图谱（KGs）不可避免地是不完整的。对于多模态知识图谱（MMKGs）同样存在此类问题。因此，知识图谱补全（KGC）对于预测现有 KGs 中缺失的三元组至关重要。对于现有的 KGC 方法，基于嵌入的方法依赖人工设计来利用多模态信息，而基于微调的方法在链接预测上并不优于基于嵌入的方法。为解决这些问题，我们提出了一种 VisualBERT 增强的知识图谱补全模型（简称 VBKGC）。VBKGC 能够捕获实体深度融合的多模态信息并将其整合进 KGC 模型。此外，我们通过设计一种称为孪生负采样的新负采样策略，实现了 KGC 模型与负采样的协同设计。孪生负采样适用于多模态场景，并能够对实体的不同嵌入进行对齐。我们进行了大量实验以展示 VBKGC 在链接预测任务上的优异性能，并对 VBKGC 做了进一步探究。
引用
@article{arxiv.2209.07084,
title = {Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling},
author = {Yichi Zhang and Wen Zhang},
journal= {arXiv preprint arXiv:2209.07084},
year = {2022}
}
备注
Accepted by KDD 2022 Undergraduate Consortium