用于在线无监督持续学习的基于分块的对比学习与记忆巩固

我们关注一种相对未被探索的学习范式，称为在线无监督持续学习（O-UCL），在该范式中，智能体接收非平稳、无标签的数据流，并逐步学习识别越来越多的类别。该范式旨在对现实世界中的应用进行建模，在这些应用中遇到新事物是常态，例如在具有多个未知且随时间变化的实体的地形中进行探索。与以往在无监督学习、持续学习或在线学习中的工作不同，O-UCL 将这三个领域结合为一个具有挑战性且现实的学习范式。在此设定中，智能体会被频繁评估，并且必须力求在数据流的任何时刻都保持最佳可能的表示，而不是在预先指定的离线任务结束时。所提出的方法称为基于分块的对比学习与记忆巩固（PCMC），通过识别和聚类分块级特征来构建对数据的组合式理解。这些分块级特征的嵌入是通过基于分块的对比学习训练的编码器提取的。PCMC 在避免灾难性遗忘的同时将新数据纳入其分布中，并在“睡眠”期间巩固记忆样本。我们在由 ImageNet 和 Places365 数据集创建的数据流上评估 PCMC 的性能。此外，我们探索了 PCMC 算法的各种版本，并将其性能与几种现有方法和简单基线进行了比较。