双随机矩阵深层网络中的均质陷阱：谱聚落现象
机器学习
2026-01-06 v1 人工智能
摘要
双随机矩阵(DSM)在结构保持的深层架构中日益受到广泛应用，如最优传输层与Sinkhorn-based注意力机制，以实现数值稳定性与概率可解释性。本文识别了这些约束固有特征谱降解现象，称其为均质陷阱(Homogeneity Trap)。我们证明，Sinkhorn投影的maximum-entropy偏置驱动混合算子趋向于均匀重心，从而抑制次主导奇异值，过滤高频特征成分。我们推导了与网络有效深度之间的谱界，表明高熵约束将特征变换限制于浅层有效感受野。进一步，我们正式演示层归一化(Layer Normalization)在噪声主导的 regime下无法缓解此聚落；具体而言，当谱过滤使信噪比(SNR)降至临界阈值以下时，几何结构将不可逆地丢失于噪声引起的正交聚落。我们的发现凸显了DSm约束网络中熵稳定性与谱表达性之间的根本性权衡。
引用
@article{arxiv.2601.02080,
title = {The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks},
author = {Yizhi Liu},
journal= {arXiv preprint arXiv:2601.02080},
year = {2026}
}