WikiDiverse：一个具有多样化上下文主题与实体类型的多模态实体链接数据集
计算与语言
2022-04-14 v1
摘要
多模态实体链接（MEL）旨在将具有多模态上下文的提及链接到知识库（如维基百科）中的指称实体，是许多多模态应用中的一项基础任务。尽管 MEL 已受到较多关注，现有 MEL 数据集存在的上下文主题与实体类型有限、提及歧义被简化以及可用性受限等缺陷，已对 MEL 的研究与应用造成了巨大障碍。本文提出 WikiDiverse，一个来自 Wikinews、具有多样化上下文主题与实体类型的高质量人工标注 MEL 数据集，其使用维基百科作为对应知识库。我们采用精心定制的标注流程以确保数据集质量。基于 WikiDiverse，我们实现了一系列设计良好的具有模态内与模态间注意力的 MEL 模型，它们比现有 MEL 模型更充分地利用了图像的视觉信息。我们进行了广泛的实验分析以探究不同模态在 MEL 中的贡献，助力该任务的未来研究。数据集与基线模型发布于 https://github.com/wangxw5/wikiDiverse。
引用
@article{arxiv.2204.06347,
title = {WikiDiverse: A Multimodal Entity Linking Dataset with Diversified Contextual Topics and Entity Types},
author = {Xuwu Wang and Junfeng Tian and Min Gui and Zhixu Li and Rui Wang and Ming Yan and Lihan Chen and Yanghua Xiao},
journal= {arXiv preprint arXiv:2204.06347},
year = {2022}
}