深度平衡模型与用于高维高斯混合的浅层显式模型几乎等价
机器学习
2024-05-21 v2 机器学习
摘要
深度平衡模型（DEQ）作为一种典型的隐式神经网络，已在各种任务上取得了显著成功。然而，对于隐式DEQ与显式神经网络模型之间的联系和差异，缺乏理论理解。本文利用随机矩阵理论（RMT）的最新进展，对输入数据来自高维高斯混合时隐式DEQ的共轭核（CK）和神经正切核（NTK）矩阵的特征谱进行了深入分析。我们证明，在此设定下，这些隐式CK和NTK的谱行为取决于DEQ激活函数和初始权重方差，但仅通过一个由四个非线性方程组成的系统。作为这一理论结果的直接推论，我们证明可以精心设计一个浅层显式网络，以产生与给定DEQ相同的CK或NTK。尽管这里针对高斯混合数据推导，但实验结果表明，所提出的理论和设计原则也适用于流行的真实世界数据集。
引用
@article{arxiv.2402.02697,
title = {Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures},
author = {Zenan Ling and Longbo Li and Zhanbo Feng and Yixuan Zhang and Feng Zhou and Robert C. Qiu and Zhenyu Liao},
journal= {arXiv preprint arXiv:2402.02697},
year = {2024}
}
备注
Accepted by ICML 2024