基于前向-后向知识蒸馏的持续聚类

无监督持续学习 (Unsupervised Continual Learning, UCL) 是机器学习领域的一个新兴方向，旨在使神经网络能够在没有显式标签信息的情况下顺序学习任务。当模型在学习新任务后遗忘先前学习的任务，这一现象称为灾难性遗忘 (Catastrophic Forgetting, CF)，在 UCL 中尤为挑战，因为数据标签信息不可访问。灾难性遗忘的缓解策略，如知识蒸馏和回放缓冲区，常面临内存效率低和隐私问题。尽管当前的 UCL 研究努力改进数据表征并解决流式数据环境下的 CF，但针对无监督聚类的算法仍显不足。为填补这一空白，本文引入无监督持续聚类 (Unsupervised Continual Clustering, UCC) 的概念。我们提出一种用于无监督持续聚类的前向-后向知识蒸馏方法 (Forward-Backward Knowledge Distillation for Continual Clustering, FBCC)，以在 UCC 上下文中抵消 CF。FBCC 采用单个持续学习者（“教师”）配合聚类投影器，以及多个学生模型，以解决 CF 问题。该方法包含两个阶段：前向知识蒸馏中，教师在来自专门学生模型的指导下学习新聚类，同时保留来自以前任务的知识；后向知识蒸馏中，学生模型模仿教师的行为，以保留任务特定知识，辅助教师在后续任务中使用。FBCC 是 UCC 的开创性方法，展示了在各种任务上的聚类性能和内存效率的提升，优于将聚类算法应用于最新 UCL 算法的潜在空间。