ICCV 2021挑战赛SSLAD-Track3B技术报告：Transformer是更优的持续学习器
计算机视觉与模式识别
2022-01-14 v1
摘要
在关于持续学习的SSLAD-Track 3B挑战赛中，我们提出COntinual Learning with Transformer（COLT）方法。我们发现与卷积神经网络相比，transformer受灾难性遗忘的影响更小。我们方法的主要原则是使基于transformer的特征提取器配备旧知识蒸馏与头部扩展策略以对抗灾难性遗忘。在本报告中，我们首先介绍面向目标检测的持续学习整体框架。随后，我们分析我们方案中关键元素对抵御灾难性遗忘的作用。我们的方法在SSLAD-Track 3B挑战赛测试集上取得了70.78 mAP。
引用
@article{arxiv.2201.04924,
title = {Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners},
author = {Duo Li and Guimei Cao and Yunlu Xu and Zhanzhan Cheng and Yi Niu},
journal= {arXiv preprint arXiv:2201.04924},
year = {2022}
}
备注
Rank 1st on ICCV2021 SSLAD-Track 3B