分布式持续学习中用于数据无关巩固的投影隐空间蒸馏
机器学习
2023-03-29 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
边缘端的分布式学习常包含以自我为中心的设备（SCD），它们独立学习本地任务且不愿为其他 SCD 的性能做贡献。我们如何以零成本为单个 SCD 实现前向迁移？我们将此问题形式化为一个分布式持续学习场景，其中 SCD 适应本地任务，一个 CL 模型在不查看 SCD 私有数据的情况下巩固来自由此产生的模型流的知识。遗憾的是，当前的 CL 方法不能直接应用于该场景。我们提出数据无关巩固（DAC），一种新颖的双重知识蒸馏方法，可在不使用原始数据的情况下巩固 SCD 模型流。DAC 通过一种新颖的投影隐空间蒸馏损失在隐空间中进行蒸馏。实验结果表明，DAC 能够在 SCD 之间实现前向迁移，并在 Split CIFAR100、CORe50 和 Split TinyImageNet 上，在无回放和分布式 CL 场景中均达到最先进的准确率。有些令人惊讶的是，即便仅有一张分布外图像，也足以作为巩固期间唯一的数据来源。
引用
@article{arxiv.2303.15888,
title = {Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning},
author = {Antonio Carta and Andrea Cossu and Vincenzo Lomonaco and Davide Bacciu and Joost van de Weijer},
journal= {arXiv preprint arXiv:2303.15888},
year = {2023}
}