适者生存的表示：以模加法为例的案例研究
机器学习
2024-05-28 v1
摘要
当神经网络可以学习多种不同算法来解决一项任务时，它如何在训练过程中在它们之间进行“选择”？为探讨这一问题，我们从生态学中汲取灵感：当多个物种共存时，它们最终会达到一种平衡，其中一些存活而另一些消亡。类似地，我们认为处于初始化阶段的神经网络包含许多解（表示和算法），它们在资源约束的压力下相互竞争，最终“最适合者”胜出。为研究这一适者生存假设，我们对执行模加法的神经网络进行了案例研究，发现这些网络在不同傅里叶频率上的多个环形表示经历了这种竞争动态，最终只有少数几个圆圈存活。我们发现具有高初始信号和梯度的频率（即“最适合者”）更有可能存活。通过增加嵌入维度，我们也观察到更多存活的频率。受描述物种间动态的 Lotka-Volterra 方程启发，我们发现这些圆圈的动态可以由一组线性微分方程很好地刻画。我们关于模加法的结果表明，可以将复杂的表示分解为更简单的组件及其基本相互作用，从而为表示的训练动态提供见解。
引用
@article{arxiv.2405.17420,
title = {Survival of the Fittest Representation: A Case Study with Modular Addition},
author = {Xiaoman Delores Ding and Zifan Carl Guo and Eric J. Michaud and Ziming Liu and Max Tegmark},
journal= {arXiv preprint arXiv:2405.17420},
year = {2024}
}