ZEBRA：基于零样例示例的检索增强式常识问答
计算与语言
2024-10-08 v1
摘要
当前的大型语言模型 (LLM) 在常识问答基准测试中显示出强大的推理能力，但其成功背后的过程仍然鲜为人知。结果，最近的 method 为 LLM 配备了知识检索、推理和内省的机制，不仅是为了提升其 capabilities，也是为了增强其输出的可解释性。然而，这些方法需要额外的训练、手工制作的模板或人类编写的解释。为此，我们引入 ZEBRA，一个 zero-shot question answering 框架，将检索、案例推理和内省结合起来，不需要对 LLM 进行额外训练。给定一个输入 question，ZEBRA 从知识库中检索相关 question-knowledge 对，并通过推理这些对之间的关系来生成新的 knowledge。此生成的 knowledge 然后用于回答输入 question，从而提高模型的性能和可解释性。我们在 8 个 well-established 常识推理基准测试上评估了该方法，表明 ZEBRA 在所有测试中都优于强大的 LLM 和之前的 knowledge integration method，平均准确率提升最高可达 4.5 分。
引用
@article{arxiv.2410.05077,
title = {ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering},
author = {Francesco Maria Molfese and Simone Conia and Riccardo Orlando and Roberto Navigli},
journal= {arXiv preprint arXiv:2410.05077},
year = {2024}
}
备注
Accepted at EMNLP 2024 Main Conference