基于密度分布的学习框架以应对在线持续学习挑战
机器学习
2023-11-27 v1 计算机视觉与模式识别
摘要
在本文中，我们通过引入基于密度分布的学习框架来解决在线持续学习（CL）的挑战。CL，尤其是类增量学习，能够适应新的测试分布，同时从单次遍历的训练数据流中持续学习，这更符合真实场景的实际应用需求。然而，现有的 CL 方法常因复杂的算法设计而遭受灾难性遗忘和较高计算成本的困扰，限制了其实用性。我们提出的框架通过实现优越的平均准确率和时空效率克服了这些局限，弥合了 CL 与经典机器学习之间的性能差距。具体而言，我们为每个 CL 任务采用独立的生成式核密度估计（GKDE）模型。在测试阶段，GKDE 利用自报告的最大概率密度值来确定哪一个负责预测 incoming 测试实例。基于 GKDE 的学习目标可确保相同标签的样本被聚集在一起，而不相似的实例被推得更远。在多个 CL 数据集上进行的大量实验验证了我们提出框架的有效性。我们的方法以显著优势优于流行的 CL 方法，同时保持有竞争力的时空效率，使我们的框架适用于真实世界应用。代码将发布于 https://github.com/xxxx/xxxx。
引用
@article{arxiv.2311.13623,
title = {Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges},
author = {Shilin Zhang and Jiahui Wang},
journal= {arXiv preprint arXiv:2311.13623},
year = {2023}
}
备注
10 pages, 6 figures