Fresh-CL：持续学习中超球面上专家特征重对齐
机器学习
2025-01-14 v2 计算机视觉与模式识别
摘要
持续学习使模型能够学习并适应新任务，同时保留先前知识。然而，引入新任务自然会导致任务间的特征纠缠，限制模型区分新领域数据的能力。在这项工作中，我们提出了一种称为“持续学习中超球面上专家特征重对齐”（Fresh-CL）的方法。通过利用预定义且固定的单纯形等角紧框架（ETF）分类器在超球面上，我们的模型改善了任务内和任务间的特征分离。然而，投影到单纯形ETF会随着新任务而偏移，破坏先前任务的结构化特征表示并降低性能。因此，我们提出通过专家混合（MoE）动态扩展ETF，实现到不同子空间的自适应投影以增强特征表示。在11个数据集上的实验表明，与最强基线相比，准确率提高了2%，特别是在细粒度数据集上，证实了结合ETF和MoE在持续学习场景中改善特征区分的有效性。
引用
@article{arxiv.2501.02198,
title = {Fresh-CL: Feature Realignment through Experts on Hypersphere in Continual Learning},
author = {Zhongyi Zhou and Yaxin Peng and Pin Yi and Minjie Zhu and Chaomin Shen},
journal= {arXiv preprint arXiv:2501.02198},
year = {2025}
}
备注
Accepted by ICASSP 2025