关键学习期甚至在深度线性网络中也会出现

关键学习期是发育早期的一段时间，在此期间暂时的感觉缺失会对行为和习得表征产生永久性影响。尽管生物网络与人工网络之间存在根本性差异，关键学习期已在两类系统中被实证观察到。这表明关键期可能是学习的基本特性，而非生物学的偶然现象。然而，深度网络中关键期究竟为何出现仍是一个开放问题，尤其不清楚两类系统中观察到的关键期是否依赖于特定的架构或优化细节。为分离关键潜在因素，我们聚焦于深度线性网络模型，并证明令人惊讶的是，此类网络也展现出生物与人工网络中观察到的诸多行为，同时便于解析处理。我们证明关键期依赖于模型深度与数据分布结构。我们还通过解析与仿真表明，特征的学习与信号源之间的竞争相关。最后，我们将分析扩展至多任务学习，证明在某些任务上的预训练会损害在新任务上的迁移性能，并展示这如何依赖于任务间关系与预训练阶段时长。据我们所知，我们的工作提供了首个可解析处理的模型，揭示了生物与人工网络中关键学习期出现的原因。