深度神经网络的互动瓶颈：发现、证明与调制

理解深度神经网络（DNN）能够表示哪些合作结构 remains 一个根本且仍不充分理解的问题。本文将互动视为此类结构的基本单元，调查一个 largely 未探索的问题：DNN 在不同情境复杂度下如何编码互动，以及这些微观互动模式如何塑造宏观表示容量。为量化此复杂度，我们使用多阶互动 [57]，其中每个阶数反映评估变量对联合互动效用的情境信息量。该表述 enable 对 DNN 所学合作模式进行分层分析。基于此表述，我们对 DNN 的互动结构进行全面研究。（i）我们经验性地发现一个普遍的互动瓶颈：在各种架构和任务中，DNN 轻易学习低阶和高阶互动，但始终在表示中度阶互动。（ii）我们通过证明中阶互动因其最高的情境变动性导致大梯度方差，从而在本质上难以学习来理论解释此瓶颈。（iii）我们进一步通过引入引导模型聚焦于所选阶次互动的损失来调制此瓶颈。最后，我们将微观互动结构与宏观表征行为联系起来：低阶强调模型表现出更强的泛化和鲁棒性，而高阶强调模型展现更大的结构建模和拟合能力。综上，这些结果揭示了现代 DNN 固有的表示偏差，并将互动阶次确立为解释和指导深层表征的强大视角。