基于两两互作用层架构的任务无关持续学习
机器学习
2024-05-24 v1
摘要
大多数主导的持续学习方法基于内存回放、参数隔离或需要计算任务统计信息的正则化技术。我们提出一种基于静态架构的方法，不使用上述任何方法。我们展示，通过将网络的最后一层替换为我们的两两互作用层，可以提高持续学习性能。两两互作用层使用来自Winner-take-all风格激活函数的稀疏表示，以寻找隐藏层表示中的相关性。使用该架构的网络在MNIST和FashionMNIST基础上的持续图像分类实验中表现出竞争力。我们在在线流式持续学习设置中演示了这一点，该设置中学习系统无法访问任务标签或边界。
引用
@article{arxiv.2405.13632,
title = {Task agnostic continual learning with Pairwise layer architecture},
author = {Santtu Keskinen},
journal= {arXiv preprint arXiv:2405.13632},
year = {2024}
}