大语言模型的推理逻辑能否被解耦为符号概念？
计算与语言
2023-04-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
在本文中，我们将大语言模型（LLMs）的推理逻辑解释为一组合符号概念。许多近期研究发现，传统 DNN 通常编码稀疏的符号概念。然而，由于 LLM 的参数远多于传统 DNN，LLM 是否也编码稀疏符号概念仍是一个开放问题。因此，在本文中，我们提出将 LLM 在对话任务上的推理分数解耦为少量符号概念。我们验证了可以使用这些稀疏概念来良好估计 LLM 在输入句子所有任意掩码状态下的全部推理分数。我们还评估了 LLM 所编码概念的迁移性，并验证符号概念在相似输入句子间通常表现出高迁移性。更为关键的是，这些符号概念可用于解释导致 LLM 预测错误的确切原因。
引用
@article{arxiv.2304.01083,
title = {Can the Inference Logic of Large Language Models be Disentangled into Symbolic Concepts?},
author = {Wen Shen and Lei Cheng and Yuxiao Yang and Mingjie Li and Quanshi Zhang},
journal= {arXiv preprint arXiv:2304.01083},
year = {2023}
}