MEAformer：面向元模态混合的多模态实体对齐 Transformer
人工智能
2023-08-01 v4 计算与语言
摘要
多模态实体对齐（MMEA）旨在发现不同知识图谱（KG）中相关联实体（其实体配有相关图像）之间的相同实体。然而，当前的 MMEA 算法依赖于 KG 级别的模态融合策略来进行多模态实体表示，这忽略了不同实体在模态偏好上的差异，从而削弱了面对模糊图像与关系等模态噪声时的鲁棒性。本文提出 MEAformer，一种面向元模态混合的多模态实体对齐 Transformer 方法，它动态预测各模态间的互相关系数，以实现更细粒度的实体级模态融合与对齐。实验结果表明，我们的模型不仅在多种训练场景（包括监督、无监督、迭代和低资源设定）下取得了 SOTA 性能，而且参数量有限、运行高效且具备可解释性。我们的代码已发布于 https://github.com/zjukg/MEAformer。
引用
@article{arxiv.2212.14454,
title = {MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality Hybrid},
author = {Zhuo Chen and Jiaoyan Chen and Wen Zhang and Lingbing Guo and Yin Fang and Yufeng Huang and Yichi Zhang and Yuxia Geng and Jeff Z. Pan and Wenting Song and Huajun Chen},
journal= {arXiv preprint arXiv:2212.14454},
year = {2023}
}
备注
ACM Multimedia 2023 Accpeted, Repo: https://github.com/zjukg/MEAformer