大语言模型在外部知识辅助的多跳推理中仍面临挑战
计算与语言
2024-12-12 v1
摘要
我们进行了一系列实验，从三个方面测试大语言模型的多跳推理能力：选择和组合外部知识、处理非序列推理任务以及泛化到具有更多跳数的数据样本。我们在四个推理基准上使用思维链提示（及其变体）测试 GPT-3.5 模型。我们的结果揭示，尽管大语言模型在各种推理任务上取得了惊人的性能，但模型仍然存在严重缺陷，与人类表现存在巨大差距。
引用
@article{arxiv.2412.08317,
title = {Large Language Models Still Face Challenges in Multi-Hop Reasoning with External Knowledge},
author = {Haotong Zhang},
journal= {arXiv preprint arXiv:2412.08317},
year = {2024}
}