面向社交媒体命名实体识别的多粒度跨模态表示学习
摘要
社交媒体上的命名实体识别（NER）指从非结构化自由形式内容中发现并分类实体，它在意图理解和用户推荐等多种应用中扮演着重要角色。随着社交媒体帖子趋于多模态化，针对文本及其伴随图像的多模态命名实体识别（MNER）正吸引越来越多的关注，因为某些文本成分只能结合视觉信息来理解。然而，现有方法存在两个缺点：1）文本与其伴随图像的含义并非总是匹配，因此文本信息仍起主要作用。但与其它常规内容相比，社交媒体帖子通常更短且更不规范，这容易导致语义描述不完整和数据稀疏问题。2）尽管已使用整张图像或物体的视觉表示，但现有方法要么忽略了图像中物体与文本中词语之间的细粒度语义对应，要么忽略了某些图像中存在误导性物体或根本没有物体这一客观事实。在本工作中，我们通过引入多粒度跨模态表示学习来解决上述两个问题。为解决第一个问题，我们通过对文本中的每个词进行语义增强来强化表示。针对第二个问题，我们在不同视觉粒度上执行文本与视觉之间的跨模态语义交互，为每个词获取最有效的多模态引导表示。实验表明，我们提出的方法在两个推文基准数据集上可以达到 SOTA 或接近 SOTA 的性能。代码、数据和最佳性能模型可在 https://github.com/LiuPeiP-CS/IIE4MNER 获取。
引用
@article{arxiv.2210.14163,
title = {Multi-Granularity Cross-Modality Representation Learning for Named Entity Recognition on Social Media},
author = {Peipei Liu and Gaosheng Wang and Hong Li and Jie Liu and Yimo Ren and Hongsong Zhu and Limin Sun},
journal= {arXiv preprint arXiv:2210.14163},
year = {2022}
}
备注
We have reconducted experiments of the paper, but found that there were fatal errors in our datasets leading to the wrong results and analyses. Therefore, we have to withdraw the paper to ensure the authenticity of science. We are very sorry