任务无关刺激对神经表征漂移的贡献

生物和人工学习者在其一生中始终暴露于数据流和经验中，必须不断适应、学习或选择性地忽略ongoing input。近期研究表明，即使性能保持稳定，底层神经表征也可能随时间逐渐变化，称为表征漂移。研究不同贡献数据和噪声源可能导致漂移的机制，对于理解神经系统的终身学习至关重要。然而，针对漂移在不同架构和学习规则、以及与任务关系的系统性研究仍缺失。本文我们在在线学习环境中，将漂移表征为数据分布的函数，特别表明，代理学习时会忽略的任务无关刺激引入的学习噪声，可在任务相关刺激的表征中造成长期漂移。通过理论和仿真，我们在基于 Hebbian 学习——Oja 法则和相似性匹配——以及应用于自编码器和监督两层网络的随机梯度下降中均观察到这一现象。我们一致观察到，漂移速率随任务无关子空间中数据方差和维度的增加而上升。我们进一步表明，这导致与来自高斯突触噪声的漂移在几何和维度依赖性方面具有不同的定性预测。总体而言，我们的研究将刺激结构、任务和学习规则联系到表征漂移之中，可能为将漂移用作揭示大脑底层计算的信号提供可能的路径。