MESED：一个具有细粒度语义类别与难负样本实体的多模态实体集扩展数据集
计算与语言
2023-07-28 v1
摘要
实体集扩展（ESE）任务旨在用属于同一语义类别的新实体来扩展少量种子实体。传统的 ESE 方法基于单模态（即文本模态），难以处理现实世界中的复杂实体，例如：（1）具有细粒度语义差异的负样本实体；（2）同义实体；（3）多义实体；（4）长尾实体。这些挑战促使我们提出多模态实体集扩展（MESE），其中模型整合来自多个模态的信息来表示实体。直观而言，多模态信息对 ESE 的益处有三方面：（1）不同模态可提供互补信息；（2）多模态信息通过共同的视觉属性为同一语义类别或实体提供统一信号；（3）多模态信息为同义实体提供鲁棒的对齐信号。为评估模型在 MESE 中的性能并推动进一步研究，我们构建了 MESED 数据集，这是首个大规模且经过精细人工校准的 ESE 多模态数据集。我们提出了一种强大的多模态模型 MultiExpan，其在四个多模态预训练任务上进行了预训练。在 MESED 上的大量实验与分析证明了该数据集的高质量及我们 MultiExpan 的有效性，并为未来研究指明了方向。
引用
@article{arxiv.2307.14878,
title = {MESED: A Multi-modal Entity Set Expansion Dataset with Fine-grained Semantic Classes and Hard Negative Entities},
author = {Yangning Li and Tingwei Lu and Yinghui Li and Tianyu Yu and Shulin Huang and Hai-Tao Zheng and Rui Zhang and Jun Yuan},
journal= {arXiv preprint arXiv:2307.14878},
year = {2023}
}