矩阵完成中的隐式偏置与深度促进低秩性

我们研究通过深度矩阵分解(即深度线性神经网络)进行的矩阵完成，这是一种简化的测试环境，用于检验网络深度如何影响训练动力学。尽管该问题简单且重要，然而先前的理论主要关注浅层(深度为2)模型，未能充分解释更深层网络中观察到的隐式低秩偏置。我们识别了耦合动力学作为这种偏置的关键机制，并证明其随深度增加而加剧。我们聚焦于块对角观察下的梯度流，证明：(a)深度$\geq 3$的网络在非对角初始化时表现出耦合，(b)当且仅当动力学呈耦合状态时，才会收敛到秩为1——解决了Menon(2024)关于一类初始化的开放问题。我们还重审了矩阵完成中失去塑性现象(Kleinman等人，2024)，即在少数观察上预训练后继续训练会降低性能。我们表明，深度模型因其低秩偏置而避免塌性损失，而深度为2的网络在解耦动力学下预训练，即使在继续训练(增加数据)后满足耦合条件，也无法收敛到低秩——揭示了这一现象背后的机制。