视觉语言模型理解守恒定律但不理解多少概念

理解守恒定律是人类认知发展的一个关键里程碑，被认为是由对数量概念和运算可逆性的理解所支撑的。为了评估人类智能的这一关键组成部分是否已在视觉语言模型中出现，我们整理了ConserveBench，这是一个包含365项认知实验的测试集，涵盖四个物理量维度：体积、固体数量、长度和数字。前两个涉及需要可逆性理解的变换任务。后两个涉及评估数量理解的非变换任务。令人惊讶的是，我们发现，虽然视觉语言模型通常擅长变换任务，但它们往往在非变换任务上失败。在理解运算可逆性和理解数量概念之间存在分离，而这两者都被认为是人类理解守恒定律的基石。