第二届粤港澳大湾区国际算法竞赛序列任务持续学习赛道的解决方案
机器学习
2024-07-09 v1 计算机视觉与模式识别
摘要
本文介绍了一种我们为第二届粤港澳大湾区国际算法竞赛序列任务持续学习赛道开发的无数据、基于参数隔离的持续学习算法。该方法在网络卷积层和线性层中为每个任务学习一个独立的参数子空间，并在第一个任务之后冻结批归一化层。具体来说，对于所有域共享一个分类头的域增量设置，我们在第一个任务完成后冻结共享分类头，有效解决了灾难性遗忘问题。此外，面对不提供任务标识的域增量设置的挑战，我们设计了一种推理任务标识策略，为每个样本选择合适的掩码矩阵。我们还引入了一种梯度补充策略，以增强未选参数对当前任务的重要性，促进新任务的学习。我们实现了一种自适应重要性评分策略，动态调整参数数量以优化单任务性能，同时减少参数使用。此外，考虑到存储空间和推理时间的限制，我们设计了一种掩码矩阵压缩策略以节省存储空间，并提高掩码矩阵加解密的速度。我们的方法不需要扩展核心网络或使用外部辅助网络或数据，并且在任务增量和域增量设置下都表现良好。该解决方案最终在比赛中获得了二等奖。
引用
@article{arxiv.2407.04996,
title = {The Solution for the sequential task continual learning track of the 2nd Greater Bay Area International Algorithm Competition},
author = {Sishun Pan and Xixian Wu and Tingmin Li and Longfei Huang and Mingxu Feng and Zhonghua Wan and Yang Yang},
journal= {arXiv preprint arXiv:2407.04996},
year = {2024}
}