一种用于社交媒体命名实体识别的多模态深度学习方法
计算与语言
2021-09-16 v3 机器学习
多媒体
社会与信息网络
摘要
来自社交媒体帖子的命名实体识别（NER）是一项具有挑战性的任务。构成社交媒体本质的用户生成内容含有噪声并包含语法与语言错误。此噪声内容使命名实体识别等任务更为困难。我们提出两种利用多模态深度学习与 Transformer 的新颖深度学习方法。两种途径均使用短社交媒体帖子的图像特征以提升 NER 任务效果。第一种方法中，我们利用 InceptionV3 提取图像特征并采用融合将文本与图像特征结合。当用户提供与实体相关图像时，这带来更可靠的命名实体识别。第二种方法中，我们将图像特征与文本结合并输入类 BERT 的 Transformer。实验结果（即精确率、召回率与 F1 分数指标）显示了我们的工作相对于其他 SOTA NER 方案的优越性。
引用
@article{arxiv.2001.06888,
title = {A multimodal deep learning approach for named entity recognition from social media},
author = {Meysam Asgari-Chenaghlu and M. Reza Feizi-Derakhshi and Leili Farzinvash and M. A. Balafar and Cina Motamed},
journal= {arXiv preprint arXiv:2001.06888},
year = {2021}
}