来自去中心化数据的深度类增量学习
计算机视觉与模式识别
2022-03-14 v1
摘要
在本文中，我们关注一种新颖且具有挑战性的去中心化机器学习范式，其中存在需要处理的连续数据流入，且数据存储在多个存储库中。我们通过以下贡献开启了数据去中心化类增量学习（DCIL）的研究。首先，我们形式化了 DCIL 问题并制定了实验协议。其次，我们引入了一种范式来创建典型（集中式）类增量学习方法的去中心化对应版本，并由此建立了 DCIL 研究的基准。第三，我们进一步提出了一种去中心化复合知识增量蒸馏框架（DCID），以将知识从历史模型和多个本地站点持续迁移到通用模型。DCID 由三个主要组件构成，即本地类增量学习、本地模型间的协作知识蒸馏，以及从本地模型到通用模型的聚合知识蒸馏。我们通过使用这三个组件的不同实现方式全面研究了我们的 DCID 框架。大量实验结果证明了我们的 DCID 框架的有效性。基线方法和所提出的 DCIL 的代码将在 https://github.com/zxxxxh/DCIL 发布。
引用
@article{arxiv.2203.05984,
title = {Deep Class Incremental Learning from Decentralized Data},
author = {Xiaohan Zhang and Songlin Dong and Jinjie Chen and Qi Tian and Yihong Gong and Xiaopeng Hong},
journal= {arXiv preprint arXiv:2203.05984},
year = {2022}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems. Revised version