基于领域感知类别表示的通用增量学习
计算机视觉与模式识别
2022-10-14 v2
摘要
持续学习是现实应用中实现类人智能的重要问题，因为智能体必须针对流式数据/任务持续积累知识。本工作考虑一个通用但尚少被探索的增量学习问题，其中类别分布和类别特定的领域分布均随时间变化。除类增量学习中的典型挑战外，该设定还面临类内稳定性-可塑性困境和类内领域不平衡问题。为解决上述问题，我们基于 EM 框架提出了一种新颖的领域感知持续学习方法。具体而言，我们引入基于 von Mises-Fisher 混合模型的灵活类别表示以捕捉类内结构，并采用扩展-缩减策略根据类别复杂度动态增加组件数量。此外，我们设计了一种双层平衡记忆以应对类内和类间的数据不平衡，并结合蒸馏损失实现更好的类间与类内稳定性-可塑性权衡。我们在三个基准 iDigits、iDomainNet 和 iCIFAR-20 上进行了详尽实验。结果表明，我们的方法以显著优势持续优于先前方法，证明了其优越性。
引用
@article{arxiv.2204.04078,
title = {General Incremental Learning with Domain-aware Categorical Representations},
author = {Jiangwei Xie and Shipeng Yan and Xuming He},
journal= {arXiv preprint arXiv:2204.04078},
year = {2022}
}
备注
Accepted by CVPR2022