在单位球面上学习表征：探究角度高斯与von Mises-Fisher分布用于在线持续学习

我们使用最大后验估计原理来学习分布在单位球面上的表征。我们提出使用角度高斯分布，即投影到单位球面上的高斯分布，并推导相关的损失函数。我们还考虑了von Mises-Fisher分布，它是单位球面上高斯的条件分布。学习到的表征被推向固定方向，即高斯分布的先验均值；从而实现一种对数据漂移具有韧性的学习策略。这使其适用于在线持续学习，即在一个连续数据流上训练神经网络的问题，其中多个分类任务按顺序呈现，使得来自过去任务的数据不再可访问，且来自当前任务的数据只能被看到一次。为应对这一具有挑战性的场景，我们提出了一种基于记忆的表征学习技术，并配备了我们新的损失函数。我们的方法不需要负数据或任务边界的知识，并且在较小批量大小下表现良好，同时计算高效。我们通过大量实验证明，所提方法在标准评估场景和具有模糊任务边界的现实场景中都优于当前最先进的方法。为可复现性，我们对每种比较方法使用相同的训练流程，并在 https://github.com/Nicolas1203/ocl-fd 共享代码。