无监督任务专家终身学习
机器学习
2024-06-11 v2
摘要
持续学习 (CL) 模型旨在在顺序学习新任务时而不重新训练网络。然而，实际的机器学习应用中标注信息极其有限，这些模型会遭受严重的灾难性遗忘。为了解决这些问题，我们提出一种带任务专家的无监督 CL 模型，称为无监督任务专家终身学习 (U-TELL)，用于连续学习数据序列中的数据以解决灾难性遗忘。在 U-TELL 的训练期间，我们在新任务到来时引入新的专家。我们的 proposed architecture 包括任务专家、结构化数据生成器和任务分配器。每个任务专家由 3 个模块组成：i) 一个变分自编码器用于捕获任务分布并进行数据抽象，ii) 一个 k-均值聚类模块，iii) 一个结构提取器用于保留潜在任务数据特征。在测试期间，任务分配器选择合适的专家以执行聚类。U-TELL 不存储或回放任务样本，相反，我们使用生成的结构化样本来训练任务分配器。我们将 U-TELL 与五种 SOTA 无监督 CL 方法进行了比较。实验结果表明，U-TELL 在七个基准测试和一个行业数据集上对各种 CL 场景均优于所有基线方法，训练时间比最佳基线方法快 6 倍以上。
引用
@article{arxiv.2405.14623,
title = {U-TELL: Unsupervised Task Expert Lifelong Learning},
author = {Indu Solomon and Aye Phyu Phyu Aung and Uttam Kumar and Senthilnath Jayavelu},
journal= {arXiv preprint arXiv:2405.14623},
year = {2024}
}
备注
Accepted by International Conference on Image Processing 2024 (ICIP2024)