用于多模态命名实体识别与多模态关系提取的思维链提示蒸馏
计算与语言
2023-08-24 v3 计算机视觉与模式识别
摘要
多模态命名实体识别(MNER)与多模态关系提取(MRE)需要对复杂语言与多模态理解的基本推理能力。在本研究中，我们探索通过生成思维链(CoT)——一系列中间推理步骤——将大语言模型(LLM)的推理能力蒸馏到更紧凑的学生模型中。具体而言，我们首先通过覆盖多粒度(名词、句子、多模态)与数据增强(风格、实体、图像)维度的CoT提示，示例化从LLM中引发此类推理能力。随后，我们提出一种新颖的条件提示蒸馏方法，以吸收LLM的常识推理能力，从而提升学生模型在处理纯文本输入时的效用，而无需额外添加图像与CoT知识。大量实验表明，我们的方法在MNER与MRE数据集上达到了最先进的准确率，并在可解释性、数据效率和跨域泛化方面展现出诸多优势。
引用
@article{arxiv.2306.14122,
title = {Chain-of-Thought Prompt Distillation for Multimodal Named Entity Recognition and Multimodal Relation Extraction},
author = {Feng Chen and Yujian Feng},
journal= {arXiv preprint arXiv:2306.14122},
year = {2023}
}
备注
modification