相关还是随机：LLMs 真正能进行类比推理吗？
计算与语言
2025-06-03 v3
摘要
类比推理是人类的一种独特能力，通过从相关的过往经验中迁移策略来应对陌生挑战。心理学上的一个关键发现是，与无关的过往经验相比，回忆相关经验能帮助人类更好地处理新任务。巧合的是，NLP 社区最近也发现，在上下文中自生成相关示例比人工设计的提示更能帮助大型语言模型（LLMs）解决给定问题。然而，目前尚不清楚相关性是否是激发这种能力的关键因素，即 LLMs 从自生成的相关示例中是否比从无关示例中获益更多？在这项工作中，我们系统地探讨了 LLMs 是否能在多种推理任务上真正进行类比推理。通过大量实验和分析，我们发现自生成的随机示例在某些任务上出人意料地取得了相当甚至更好的性能，例如，在 GSM8K 上使用随机生物示例带来了 4% 的性能提升。我们发现自生成示例的准确性是关键因素，随后设计了两种新方法，不仅提升了性能还显著降低了推理成本。总体而言，我们旨在推进对 LLMs 类比推理的深入理解，并希望这项工作能激发自生成上下文设计方面的进一步研究。
引用
@article{arxiv.2404.12728,
title = {Relevant or Random: Can LLMs Truly Perform Analogical Reasoning?},
author = {Chengwei Qin and Wenhan Xia and Tan Wang and Fangkai Jiao and Yuchen Hu and Bosheng Ding and Ruirui Chen and Shafiq Joty},
journal= {arXiv preprint arXiv:2404.12728},
year = {2025}
}