从信息瓶颈视角考察 LLM 自我解释中的充分性-简洁性权衡

大型语言模型 (LLM) 越来越依赖自我解释，如链式思考 (chain of thought) 推理，以提高在多步骤问答任务上的性能。虽然这些解释提高了准确率，但往往冗长且生成成本高，这引出了一个问题：到底需要多少解释才能真正有效。本文从信息瓶颈原理出发，考察充分性（即解释能否为正确答案提供合理依据）与简洁性（即减少解释长度）之间的权衡。我们将解释概念化为仅保留产生正确答案所必需信息的压缩表示。为实现这一观点，我们引入了一个评估管道，通过约束解释长度来评估充分性，并使用多个语言模型在 ARC Challenge 数据集上进行评估。为拓宽范围，我们在英语（使用原始数据集）和波斯语（通过翻译，用于资源受限的语言）两种语言中进行实验。我们的实验表明，更简洁的解释往往仍然充分，能够在显著减少解释长度的同时保持准确率，而过度压缩则会导致性能下降。