面向零样本知识型 VQA 的知识生成
计算与语言
2024-02-07 v1 人工智能
计算机视觉与模式识别
摘要
以往基于知识的视觉问答~(K-VQA) 解决方案从外部知识库检索知识，并使用监督学习训练 K-VQA 模型。最近，预训练 LLMs 被同时用作 K-VQA 的知识源和零样本 QA 模型，并展示了有前景的结果。然而，这些最近的方法并未明确显示回答问题所需的知识，因此缺乏可解释性。受最近关于从 LLMs 生成知识用于文本问答的工作启发，在本工作中，我们提出并测试了一种类似的基于知识生成的 K-VQA 方法，该方法首先从 LLM 生成知识，然后以零样本方式将生成的知识整合用于 K-VQA。我们在两个 K-VQA 基准上评估了我们的方法，发现我们的方法优于以往的零样本 K-VQA 方法，并且我们生成的知识通常具有相关性和帮助性。
引用
@article{arxiv.2402.02541,
title = {Knowledge Generation for Zero-shot Knowledge-based VQA},
author = {Rui Cao and Jing Jiang},
journal= {arXiv preprint arXiv:2402.02541},
year = {2024}
}
备注
accepted as Findings in EACL 2023