话到嘴边：利用逆向词典探针分析大语言模型中的概念表征

探测和增强大语言模型的推理能力仍然是一个关键的开放性问题。在此，我们将逆向词典任务重新用作案例研究，以探测大语言模型（LLM）的概念推理能力。我们利用上下文学习引导模型生成语言描述中隐含的对象概念术语。模型在该任务中稳健地实现了高准确率，其表征空间编码了关于对象类别和细粒度特征的信息。进一步的实验表明，通过逆向词典任务探测到的概念推理能力可以预测模型在多个基准测试中的一般推理性能，尽管不同模型在句法泛化行为上表现相似。探索性分析表明，使用“描述⇒词语”示例提示大语言模型可能会诱导超越任务构建表面差异的泛化，并促进模型解决更广泛的常识推理问题。