学习等角表示用于在线持续学习
计算机视觉与模式识别
2024-04-03 v1 人工智能
机器学习
摘要
在线持续学习由于模型更新训练不足（例如单周期训练）而面临欠拟合问题。为了应对这一挑战，我们提出了一种利用神经坍缩现象的高效在线持续学习方法。具体来说，我们诱导神经坍缩在表示空间中形成单纯形等角紧框架（ETF）结构，使得经过单周期持续学习的模型能够通过准备性数据训练和表示空间中的残差校正更好地拟合流式数据。通过在CIFAR-10/100、TinyImageNet、ImageNet-200和ImageNet-1K上进行的大量实证验证，我们表明所提出的方法在各种在线持续学习场景（如不连续和高斯调度的连续（即无边界）数据设置）中，以显著优势优于最先进的方法。
引用
@article{arxiv.2404.01628,
title = {Learning Equi-angular Representations for Online Continual Learning},
author = {Minhyuk Seo and Hyunseo Koh and Wonje Jeung and Minjae Lee and San Kim and Hankook Lee and Sungjun Cho and Sungik Choi and Hyunwoo Kim and Jonghyun Choi},
journal= {arXiv preprint arXiv:2404.01628},
year = {2024}
}
备注
CVPR 2024