从神经坍缩视角理解深度平衡模型的表示
机器学习
2024-12-05 v2 人工智能
摘要
深度平衡模型（DEQ）作为一种典型的隐式神经网络，强调其内存效率以及与显式神经网络相比的竞争力。然而，对 DEQ 表示的理论分析相对有限。在本论文中，我们利用神经坍缩（NC）作为工具，在平衡和不平衡条件下系统地分析 DEQ 的表示。NC 是神经网络训练过程中的一种有趣现象，刻画了类特征和分类器权重的几何特性。尽管在传统显式神经网络中已被广泛研究，但 NC 现象在隐式神经网络领域尚未受到充分关注。我们从理论上证明，在平衡条件下 DEQ 中存在 NC。此外，在不平衡设置中，尽管存在少数类坍缩，DEQ 相较于显式神经网络展现出优势。这些优势包括提取的特征收敛到单纯形等角紧框架的顶点，以及在温和条件下的自对偶性，突显了 DEQ 在处理不平衡数据集方面的优越性。最后，我们通过平衡和不平衡场景中的实验验证了理论分析。
引用
@article{arxiv.2410.23391,
title = {Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective},
author = {Haixiang Sun and Ye Shi},
journal= {arXiv preprint arXiv:2410.23391},
year = {2024}
}