面向灵活聚类终身学习的代表性任务自选择

考虑终身机器学习范式，其目标是依据先前经验（如知识库或深度网络权重）来学习一系列任务。然而，大多数近期终身学习模型的知识库或深度网络具有预设规模，当面对新的任务环境（簇）时，会降低已学任务与未来任务的性能。为应对这一挑战，我们提出了一种新颖的增量式聚类终身学习框架，具有两个知识库：特征学习库与模型知识库，称为灵活聚类终身学习（FCL3）。具体而言，由自编码器架构建模的特征学习库维护一组跨所有已观测任务的公共表示，而模型知识库可通过识别并添加新代表性模型（簇）来自选择。当新任务到达时，我们提出的 FCL3 模型首先从这些库迁移知识以编码新任务，即有效地、有选择地将该新任务软分配给特征学习库上的多个代表性模型。然后，1）具有较高离群概率的新任务将被判定为新代表，并随时间用于重定义特征学习库与代表性模型；或 2）具有较低离群概率的新任务仅精炼特征学习库。对于模型优化，我们将这一终身学习问题在新任务到来时化为交替方向最小化问题。最后，我们通过分析若干多任务数据集来评估所提框架，实验结果表明我们的 FCL3 模型能取得优于大多数终身学习框架、甚至批量聚类多任务学习模型的性能。