通过 Fractal of Stationary Transformations 实现尺度一致的状态空间动力学

近期深度学习模型越来越依赖深度结构，但缺乏对中间表示有效性的结构保证，导致早停和自适应计算问题难以求解。我们通过构建状态空间模型在迭代细化过程中的尺度一致潜在动力学的结构要求来克服这一限制，推导出 Fractal of Stationary Transformations (FROST)，通过分形归纳偏置实现自相似表示流形。 在该几何结构下，中间状态对应于共享表示的不同分辨率，我们提供几何分析，建立收敛和稳定收敛跨迭代的收缩性。 由于这种尺度一致结构，停止问题自然地得以一种基于内在特征质量而非外在目标的排序形式化求解。 在 ImageNet-100 上进行的受控实验经验验证了预测的尺度一致行为，显示自适应效率源于对齐的潜在几何。