数感知力的无监督生成模型涌现：基于率失真理论的视角

数感知力是支持多种适应行为并为数学学习奠定基础的核心认知能力。本文通过率失真理论 (RDT) —— 一种在资源有限条件下理解信息处理的规范框架 —— 研究其在无监督生成模型中的涌现。我们在包含不同物品数量的合成图像上训练 $\beta$ -变分自编码器 —— 该模型体现了 RDT 的关键形式原则，并系统性地变更编码容量，评估模型对数感知的敏感性以及涌现数值表征的鲁棒性，通过一系列全面分析，包括数感估计和判别任务、潜在空间分析、生成能力以及对新颖刺激的泛化。在符合 RDT 的预期下，我们发现数感知的行为表现和从非数值视觉特征中提取数的能力随编码容量按幂律规律增长。在高容量下，无监督模型发展出强健的数值信息神经编码，表现接近专为视觉枚举训练的监督模型。它表现出强大的生成能力并能良好泛化至新图像，而在低容量下，模型在数感知和表征方面表现显著欠佳。最后，与人类数据比较显示，经过中等容量训练的模型在完整的人类行为表现范围内均能涌现出稳健的数值代码。在总体而言，我们的结果表明，无监睙生成模型能够发展出数感知能力，并证明率失真理论为理解容量约束如何塑造数感知提供了强大的信息论框架。