在MNER中提示ChatGPT:基于辅助精炼知识的增强多模态命名实体识别
计算与语言
2023-10-19 v2
摘要
社交媒体上的多模态命名实体识别(MNER)旨在借助基于图像的线索增强文本实体预测。现有研究主要关注最大化相关图像信息的利用,或从显式知识库中引入外部知识。然而,这些方法要么忽视了向模型提供外部知识的必要性,要么在检索到的知识中面临高冗余问题。本文提出PGIM——一种两阶段框架,旨在将ChatGPT用作隐式知识库,并使其启发式生成辅助知识以实现更高效的实体预测。具体而言,PGIM包含一个多模态相似样例感知模块,从少量预定义人工样本中筛选合适样例。这些样例随后被整合进针对MNER定制的格式化提示模板中,并引导ChatGPT生成辅助精炼知识。最后,所获知识与原始文本融合后送入下游模型进行进一步处理。大量实验表明,PGIM在两个经典MNER数据集上优于当前最优方法,并展现出更强的鲁棒性与泛化能力。
引用
@article{arxiv.2305.12212,
title = {Prompting ChatGPT in MNER: Enhanced Multimodal Named Entity Recognition with Auxiliary Refined Knowledge},
author = {Jinyuan Li and Han Li and Zhuo Pan and Di Sun and Jiahao Wang and Wenkun Zhang and Gang Pan},
journal= {arXiv preprint arXiv:2305.12212},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023