面向推文命名实体识别的层次对齐多模态学习
计算与语言
2024-01-05 v2 多媒体
摘要
利用命名实体识别（NER）从推文中挖掘结构化知识，有益于推荐、意图理解等下游应用。随着推文帖子趋于多模态，多模态命名实体识别（MNER）受到更多关注。本文提出一种新颖方法，可动态对齐图像与文本序列，并实现多层次跨模态学习以增强文本词表示，从而改进 MNER。具体而言，我们的框架可分为三个主要阶段：第一阶段聚焦模态内表示学习以提取各模态的隐式全局与局部知识；第二阶段评估文本与配图的相关性，并基于相关性融合不同粒度的视觉信息；第三阶段通过迭代跨模态交互与协同注意力进行语义精炼。我们在两个公开数据集上实验，结果及详细分析证明了本模型的优势。
引用
@article{arxiv.2305.08372,
title = {Hierarchical Aligned Multimodal Learning for NER on Tweet Posts},
author = {Peipei Liu and Hong Li and Yimo Ren and Jie Liu and Shuaizong Si and Hongsong Zhu and Limin Sun},
journal= {arXiv preprint arXiv:2305.08372},
year = {2024}
}