神经互动规律：深度-宽度形状、互动效率与泛化

规模法则的指导增加了现代大型语言模型（LLM）的资源需求，但是否在固定预算下有效利用这些资源仍存疑问。以往的研究证明了超位置是损失的关键贡献者。通过利用神经特征假设，我们将超位置从参数空间扩展到梯度空间，并将其定义为神经互动。我们发现，在固定预算下，良好的泛化通常伴随高效的神经互动，模型可以通过调整深度-宽度比例 ($R_{D/W}$) 被置于高效互动区间。此外，随着预算的增加，模型的高效互动区间保持相对稳定。通过对现有小规模稠密LLMs进行比较，我们观察到operating于该区间的模型在MMLU-Pro基准测试上表现更好。我们的发现表明，$R_{D/W}$ 影响资源利用效率，从而影响泛化，为模型形状初始化和理解模型泛化机制提供了见解。神经互动规律的代码可在：https://anonymous.4open.science/r/Neural_Interaction_Law-D788 获得。