SGD 在 XOR 模型中可证明地优先学习 shortcut 伪特征

众所周知，神经网络易过度依赖伪相关。然而，模型利用 shortcut 特征的精确机制尚不完全清楚，且缓解此行为的算法依赖于关于所学表示尚缺乏依据的假设。本工作中，我们针对在线小批量 SGD 在 logistic 损失下训练的两层 ReLU 神经网络，首次给出了伪特征学习的端到端理论刻画。我们考虑从高维布尔超立方体中抽取数据，其含二次信号函数（即 XOR）与线性伪相关。我们证明 SGD 先学习伪特征，且速度为指数级。此外，优化动力学将伪特征与信号特征耦合，较强的伪分量抑制信号特征的学习。我们的分析揭示了学习动力学中的精确相变。在第一阶段，伪特征符号与第二层权重间的一致性驱动伪特征快速增长。在第二阶段，大数多数组边际放缓学习，信号特征持续受抑。当伪相关最强时，我们从理论上证明即便在 XOR 单独可被学习的样本复杂度阈值处（即若无伪特征），伪特征仍占主导。相反，当相关强度为常数时，我们给出初步经验证据：模型最终可学习 XOR 信号，尽管伪特征未被遗忘。