面向无任务持续学习的演化混合模型学习
机器学习
2022-07-13 v1 人工智能
摘要
近来，持续学习（CL）因能使深度学习模型在获取新知识的同时不遗忘已学信息而受到显著关注。然而，多数现有工作需已知任务身份与边界，这在实际情境中并不现实。本文探讨 CL 中更具挑战且更现实的设定，即无任务持续学习（TFCL），其中模型在非平稳数据流上训练且无可显式任务信息。为应对 TFCL，我们引入一种演化混合模型，其网络架构动态扩展以适配数据分布偏移。我们通过使用希尔伯特-施密特独立性准则（HSIC）评估各混合模型组件所存知识与当前记忆缓冲区之间的概率距离来实现该扩展机制。我们进一步引入两种简单的丢弃机制，以选择性移除所存样本，从而避免记忆过载并保持记忆多样性。实证结果表明所提方法取得了优异性能。
引用
@article{arxiv.2207.05080,
title = {Learning an evolved mixture model for task-free continual learning},
author = {Fei Ye and Adrian G. Bors},
journal= {arXiv preprint arXiv:2207.05080},
year = {2022}
}
备注
Accepted by the 29th IEEE International Conference on Image Processing (ICIP 2022)