用于深度持续学习的类增量高斯混合模型
机器学习
2023-07-11 v1
摘要
面向平稳数据的持续学习模型侧重于以顺序方式学习与保留不断到来的概念。在最通用的类增量环境中，我们必须准备好应对逐个到来的类别，而没有任何更高层次的 grouping。这一要求使许多先前提出的方法失效，并迫使研究者寻找更灵活的替代方案。在本工作中，我们遵循质心驱动方法的思路，提出将高斯混合模型端到端地嵌入持续学习框架。通过采用基于梯度的方法并设计能够在学习判别性特征的同时避免退化解的损失函数，我们成功将混合模型与深度特征提取器结合，从而实现隐空间中的联合优化与调整。此外，我们展示了我们的模型能在无记忆场景中以固定提取器有效学习。在开展的实验中，我们从经验上证明了所提方案的有效性，并展现出我们的模型在与最先进（state-of-the-art）持续学习基线于图像分类问题语境下比较时的竞争力。
引用
@article{arxiv.2307.04094,
title = {Class-Incremental Mixture of Gaussians for Deep Continual Learning},
author = {Lukasz Korycki and Bartosz Krawczyk},
journal= {arXiv preprint arXiv:2307.04094},
year = {2023}
}