将大型预训练模型与证据融合集成到多模态命名实体识别中
计算机视觉与模式识别
2023-06-30 v1
摘要
多模态命名实体识别（MNER）是从 Twitter 等社交媒体平台提取信息的关键任务。当前大多数方法依赖注意力权重从文本和图像中提取信息，但往往不可靠且缺乏可解释性。为解决此问题，我们提出将不确定性估计引入 MNER 任务，以产生可信的预测。我们提出的算法将每种模态的分布建模为 Normal-inverse Gamma 分布，并通过证据融合机制将其融合为统一分布，从而实现不确定性的层次化刻画并提升预测精度与可信度。此外，我们探索了预训练大型基础模型在 MNER 中的潜力，并提出了一种利用它们鲁棒特征表示的高效融合方法。在两个数据集上的实验表明，我们提出的方法优于基线并达到了新的 SOTA 性能。
引用
@article{arxiv.2306.16991,
title = {Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion},
author = {Weide Liu and Xiaoyang Zhong and Jingwen Hou and Shaohua Li and Haozhe Huang and Yuming Fang},
journal= {arXiv preprint arXiv:2306.16991},
year = {2023}
}