解释自编码器的学习动态：Ising模型的瞬态标度和涌现概念

我们研究了在Ising模型的微观自旋构型上训练的无监督自编码器如何学习数据生成过程背后的宏观、理论相关变量。在不嵌入领域知识的情况下，我们模拟了一个典型的发现场景：我们量化了跨多个空间（粗粒化）尺度的学习，并揭示了由主要超参数（模型深度、宽度和学习率）控制的两种不同的动态机制——一个磁化主导机制和一个能量主导机制，其特征是表示质量上的权衡。第一种机制是一个瞬态状态，表现出遵循排序到尺度的动态标度和涨落；第二种机制逐渐将分辨率转向与能量表示相关的小尺度。以中等和快速速率训练的深度模型在达到这些机制之前就被阻止了。通过对递归动态轨迹的新分析，我们证明了预测误差诱导的流场在所有表示空间中产生共同的轨迹拓扑。建立了一个学习的动态视角，其中内在属性暴露了训练期间表示强制变化的影响。我们利用学习作为一个远离平衡的过程，由训练数据和优化器的涨落驱动的直觉，提供了一个基于物理世界和表示它的机器模型的解释基础。