面向多标签持续学习的基于注意力的表示蒸馏基线
计算机视觉与模式识别
2024-07-22 v1 机器学习
摘要
持续学习 (Continual Learning, CL) 领域吸引了众多研究者，导致对抗遗忘的 countermeasures 日益先进。大多数研究聚焦于单标签场景，即每个样本仅带有一个标签。近期文献已取得显著成果。我们转向多标签场景，认为其更能代表现实开放问题。我们展示，现有最先进的 CL 方法未能实现令人满意的性能，质疑近年来所宣称的实际进步。因此，我们评估了旧式和新策略，提出一种基于它们的方法，称为选择性类别注意力蒸馏 (Selective Class Attention Distillation, SCAD)。它依赖于一种知识传递技术，旨在将学生网络的表示（该网络持续训练并受到遗忘）与教师网络的表示对齐（教师网络预训练且保持冻结）。重要的是，我们的方法能够从教师网络中选择性地传递相关信息，从而防止在在线训练期间将不相关信息捐害于学生网络的性能。为展示我们方法的优势，我们在两个不同的多标签数据集上进行实验，表明我们的方法超越了当前最先进的持续学习方法。我们的发现凸显了在持续学习领域解决多标签环境独特挑战的重要性。SCAD 的代码可在 https://github.com/aimagelab/SCAD-LOD-2024 获取。
引用
@article{arxiv.2407.14249,
title = {An Attention-based Representation Distillation Baseline for Multi-Label Continual Learning},
author = {Martin Menabue and Emanuele Frascaroli and Matteo Boschini and Lorenzo Bonicelli and Angelo Porrello and Simone Calderara},
journal= {arXiv preprint arXiv:2407.14249},
year = {2024}
}
备注
Accepted at LOD 2024