类比的奇特案例：探讨大型语言模型中的类比推理

类比推理是人类认知的核心，作为各种智力活动的重要基础。尽管已有研究表明LLM能够表示任务模式和表层概念，但是否能够编码高层次的关系概念并通过结构化比较应用于新情境仍不清楚。本文使用比例类比和故事类比来探讨这一根本问题，确定了三个关键发现。首先，LLM有效地编码了类似实体之间的底层关系；在正确情况下，属性信息和关系信息都通过中上层传递，而推理失败则反映了这些层次中缺失的关系信息。其次，与人类不同，LLM在关系信息缺失时常感到困难，甚至在尝试将其应用于新实体时也感到困难。在这种情况下， strategically 在关键标记位置修补隐藏表示可以在一定程度上促进信息传递。最后，LLM中成功的类比推理表现为类似情境之间的强结构对齐，而失败则反映了对齐方式的退化或错误。总体而言，我们的发现揭示了LLM在编码和应用高层次关系概念方面展现出但有限的能力，凸显了与人类认知之间的相似性和差距。