双曲空间中的多模态实体对齐
人工智能
2021-06-08 v1
摘要
许多与 AI 相关的任务涉及多模态数据间的交互。将多模态信息融合进知识图谱（KG）从而形成多模态知识图谱（MMKG）已成为一种新趋势。然而，MMKG 通常存在覆盖率低与不完整的问题。为缓解该问题，一种可行途径是融合来自其他 MMKG 的互补知识。为此，尽管可采用已有的实体对齐方法，但它们在欧氏空间中操作，所得的欧氏实体表示会导致 KG 层次结构的严重畸变。此外，视觉信息尚未被充分利用。针对这些问题，本文提出一种新颖的多模态实体对齐方法——双曲多模态实体对齐（HMEA），其将欧氏表示扩展至双曲面流形。我们首先采用双曲图卷积网络（HGCNs）学习实体的结构表示。对于视觉信息，我们使用 densenet 模型生成图像嵌入，并通过 HGCNs 同样投影至双曲空间。最后，我们在双曲空间中结合结构与视觉表示，并利用聚合嵌入预测潜在的对齐结果。大量实验与消融研究证明了我们所提模型及其各组件的有效性。
引用
@article{arxiv.2106.03619,
title = {Multi-modal Entity Alignment in Hyperbolic Space},
author = {Hao Guo and Jiuyang Tang and Weixin Zeng and Xiang Zhao and Li Liu},
journal= {arXiv preprint arXiv:2106.03619},
year = {2021}
}
备注
24 pages,5 figures;