DetectBench：大型语言模型能否检测并拼接隐式证据？
计算与语言
2024-11-12 v2
摘要
在上下文中检测证据是推理任务过程中的一个关键步骤。评估和增强大型语言模型（LLM）在证据检测方面的能力将加强基于上下文的推理性能。本文提出了一个名为DetectBench的基准测试，用于验证模型在长上下文中检测并拼接隐式证据的能力。DetectBench包含3,928道多项选择题，每道题平均包含994个词元。每道题平均包含4.55条隐式证据，解决该问题通常需要7.62次逻辑跳跃才能找到正确答案。为了增强LLM在证据检测方面的性能，本文提出了侦探推理提示（Detective Reasoning Prompt）和微调方法。实验表明，现有LLM在长上下文中检测证据的能力远不及人类。然而，侦探推理提示有效增强了强大LLM的证据检测能力，而微调方法在增强较弱LLM的性能方面效果显著。此外，当LLM的证据检测能力得到提升时，其最终的推理性能也相应增强。
引用
@article{arxiv.2406.12641,
title = {DetectBench: Can Large Language Model Detect and Piece Together Implicit Evidence?},
author = {Zhouhong Gu and Lin Zhang and Xiaoxuan Zhu and Jiangjie Chen and Wenhao Huang and Yikai Zhang and Shusen Wang and Zheyu Ye and Yan Gao and Hongwei Feng and Yanghua Xiao},
journal= {arXiv preprint arXiv:2406.12641},
year = {2024}
}
备注
EMNLP Findings 2024