高效在线持续学习的层次化门控专家
机器学习
2024-12-24 v1 人工智能
摘要
持续学习模型旨在受约束地学习一组任务，即这些任务以顺序方式到达，且无法访问先前任务的数据。在在线持续学习框架中，任务是未知的，数据以单个数据流的形式到达。在现有工作基础上，我们提出了一种用于识别这些潜在任务的方法：Gated Experts (GE) 算法，其中一组动态增长的专家允许在不发生灾难性遗忘的情况下获取新知识。此外，我们将 GE 扩展为 Hierarchically Gated Experts (HGE)，该方法能够通过组织专家的层次结构来高效选择每个数据样本的最佳专家。在标准持续学习基准测试中，GE 和 HGE 能够实现与当前方法相当的成绩，其中 HGE 通过更高效的方式实现。
引用
@article{arxiv.2412.17188,
title = {Hierarchically Gated Experts for Efficient Online Continual Learning},
author = {Kevin Luong and Michael Thielscher},
journal= {arXiv preprint arXiv:2412.17188},
year = {2024}
}