分治而不遗忘：持续学习中选择性训练专家的集成
机器学习
2024-03-20 v3 计算机视觉与模式识别
摘要
类增量学习正变得越来越受欢迎，因为它有助于模型在扩展其适用范围的同时不遗忘已学到的知识。该领域的一个趋势是使用混合专家技术，即不同的模型协同工作以解决任务。然而，专家通常使用完整的任务数据一次性全部训练，这使得它们都容易发生遗忘并增加计算负担。为了解决这一局限性，我们引入了一种名为 SEED 的新方法。SEED 仅针对所考虑的任务选择一个最优的专家，并使用该任务的数据仅微调该专家。为此，每个专家用高斯分布表示每个类别，并基于这些分布的相似性来选择最优专家。因此，SEED 提高了专家内部的多样性和异质性，同时保持了这种集成方法的高稳定性。大量实验表明，SEED 在各种场景下的无样本设置中实现了 SOTA 性能，展示了在持续学习中通过数据实现专家多样化的潜力。
引用
@article{arxiv.2401.10191,
title = {Divide and not forget: Ensemble of selectively trained experts in Continual Learning},
author = {Grzegorz Rypeść and Sebastian Cygert and Valeriya Khan and Tomasz Trzciński and Bartosz Zieliński and Bartłomiej Twardowski},
journal= {arXiv preprint arXiv:2401.10191},
year = {2024}
}
备注
Accepted for ICLR 2024 (main track), code is available at: https://github.com/grypesc/SEED