完美的平面六面体表示假设的证明

在本篇笔记中，我们详细阐述并解释了 Ziyin 等人（2025）对深度线性网络嵌入模型（EDLN）的“完美”平面六面体表示假设（PRH）所给予的证明。我们表明，如果采用随机梯度下降（SGD）训练，具有不同宽度和深度且在不同数据上训练的两个 EDLN 将会变为“完美平面六面体”，即每一层对的表示将在旋转下学习相同形式。由于大多数损失函数的全局最小值并非平面六面体形式，SGD 仅找到完美平面六面体解实属罕见。该证明还暗示了 PRH 可被破坏的至少六种方式。我们还指出，在 EDLN 模型中，平面六面体表示的出现与渐进锐化现象的原因相同。这表明这两种看似不相关的深层学习现象竟可拥有相同的根源。总体而言，理论与证明凸显了理解由 SGD 训练不可逆性导致的“熵力”及其在表示学习中的作用的重要性。本篇笔记的目标是在避免术语和冗长技术细节的前提下，提供教学性说明。