TAG：基于任务累积梯度的终身学习方法
机器学习
2022-08-31 v3
摘要
在终身学习设定中，当智能体遇到持续的新任务流时，它利用从先前任务中获得的知识来更好地学习新任务。在此情形下，识别高效的知识表示成为一个具有挑战性的问题。大多数研究工作提议要么在重放缓冲区中存储过去任务的样本子集，要么为每个任务分配一组独立的参数，要么通过引入正则化项来惩罚对参数的过度更新。虽然现有方法采用通用的任务无关随机梯度下降更新规则，我们提出了一种任务感知优化器，其基于任务之间的相关性来调整学习率。我们通过累积特定于每个任务的梯度，利用参数在更新过程中所采取的方向。这些基于任务的累积梯度充当在整个任务流中维护和更新的知识库。我们通过实验表明，我们提出的自适应学习率不仅解决了灾难性遗忘问题，还允许正向反向迁移。我们还表明，在具有大量任务的复杂数据集上，我们的方法在终身学习中优于几种最先进(state-of-the-art)的方法。
引用
@article{arxiv.2105.05155,
title = {TAG: Task-based Accumulated Gradients for Lifelong learning},
author = {Pranshu Malviya and Balaraman Ravindran and Sarath Chandar},
journal= {arXiv preprint arXiv:2105.05155},
year = {2022}
}
备注
Published at 1st Conference on Lifelong Learning Agents, 2022