深度网络中多感官整合的关键学习期

我们表明，神经网络整合来自多样来源信息的能力关键取决于在训练早期阶段暴露于适当相关的信号。在此初始阶段干扰学习过程会永久损害一项技能的发展，无论在人工还是生物系统中（该现象被称为关键学习期）。我们表明关键期源于复杂而不稳定的早期瞬态动力学，其决定了训练系统的最终性能及其学习到的表征。这一证据挑战了由对宽而浅网络的分析所引起的观点，即神经网络的早期学习动力学是简单的、类似于线性模型。事实上，我们表明即使深度线性网络也表现出多源整合的关键学习期，而浅层网络则不会。为了更好地理解内部表征如何随扰动或感觉缺失而改变，我们引入了一种新的源敏感性度量，使我们能够追踪训练中源的抑制与整合。我们对抑制的分析表明跨源重建是一种自然的辅助训练目标，并且我们确实表明以跨传感器重建目标训练的架构对关键期显著更具韧性。我们的发现表明，近期自监督多模态训练相较于先前监督努力的成功，可能部分归因于更鲁棒的学习动力学，而不仅仅是更好的架构和/或更多数据。