探索大语言模型中的群论与对称性原理

大语言模型（LLMs）在广泛的应用中展现了令人印象深刻的性能；然而，评估其推理能力仍然是一个重大挑战。在本文中，我们引入了一个基于群论和对称性原理的框架，这些原理在物理学和数学等领域发挥了关键作用，并提供了另一种评估其能力的方式。虽然所提出的框架具有通用性，但为了展示利用这些属性的好处，我们聚焦于算术推理，并研究了这些模型在四个群属性上的表现：封闭性、单位元、逆元和结合律。我们的发现表明，本工作中研究的 LLMs 在不同测试场景下难以保持群属性。在封闭性测试中，我们观察到对特定输出的偏差，以及在特定序列长度后性能从 100% 急剧下降到 0%。它们在单位元测试（代表在上下文中添加无关信息）中表现不佳，并且在逆元测试（检验模型对否定的鲁棒性）中表现出敏感性。此外，我们证明将问题分解为更小的步骤有助于 LLMs 在我们进行的结合律测试中表现更好。为支持这些测试，我们开发了一个合成数据集，该数据集将公开发布。