经验回放中的非均匀内存采样

持续学习是指在一系列任务上训练机器学习模型的过程，其中数据分布随时间变化。该设置下众所周知的障碍是灾难性遗忘，即模型在学习新任务时严重丧失在先前已学任务上的性能。缓解该问题的流行策略是经验回放，即在内存缓冲区中存储部分旧样本，并与新数据一起重放。尽管持续学习的研究进展集中在存储哪些样本以及如何将其纳入训练损失，但大多数方法默认假设从该缓冲区中进行均匀采样。我们挑战了均匀采样必然最优的假设。我们进行了一项实验，其中内存缓冲区的更新方式在每次试验中保持不变，但每个存储样本的重放概率在不同试验之间根据不同的随机权重分布而变化。具体而言，我们为每次试验生成 50 种不同的非均匀采样概率权重，并将其最终准确率与均匀采样基线进行比较。我们发现，在多个缓冲区大小、模型和数据集上，总存在至少一种分布显著优于基线。这些结果表明，更具原则性的自适应重放策略可能带来进一步的提升。我们讨论了如何利用这一洞察来激发持续学习中非均匀内存采样的新研究，以更好地缓解灾难性遗忘。支持该研究的代码位于 $\href{https://github.com/DentonJC/memory-sampling}{https://github.com/DentonJC/memory-sampling}$。