最优传输引导的相关性分配用于多模态实体链接
计算与语言
2024-06-06 v2
摘要
多模态实体链接（MEL）旨在将多模态上下文中的歧义提及链接到多模态知识图谱中的实体。一个关键挑战是充分利用提及与实体之间的多元素相关性，以弥合模态差距并实现细粒度语义匹配。现有方法尝试了几种局部相关机制，严重依赖自动学习的注意力权重，这可能会过度关注部分相关性。为缓解此问题，我们将相关性分配问题形式化为最优传输（OT）问题，并提出了一种新颖的MEL框架，即OT-MEL，采用OT引导的相关性分配。由此，我们利用多模态特征之间的相关性来增强多模态融合，并利用提及与实体之间的相关性来增强细粒度匹配。为了加速模型预测，我们进一步利用知识蒸馏将OT分配知识迁移到注意力机制中。实验结果表明，我们的模型显著优于之前的最先进基线，并证实了OT引导的相关性分配的有效性。
引用
@article{arxiv.2406.01934,
title = {Optimal Transport Guided Correlation Assignment for Multimodal Entity Linking},
author = {Zefeng Zhang and Jiawei Sheng and Chuang Zhang and Yunzhi Liang and Wenyuan Zhang and Siqi Wang and Tingwen Liu},
journal= {arXiv preprint arXiv:2406.01934},
year = {2024}
}
备注
Findings of ACL 2024