通过教学节点社区实现协作知识蒸馏
机器学习
2024-10-02 v1
摘要
本文提出了一种新颖的基于教学节点社区框架（LENC）的协作知识蒸馏（CKD）方法，该方法通过在不同部署的深度神经网络（DNN）对等节点之间进行有效的知识交换，促进持续的集体学习。这些DNN动态且自主地扮演学生（寻求知识）或教师（传授知识）的角色，从而营造协作学习环境。所提出的框架能够按需在参与的DNN节点之间实现高效的知识迁移，同时增强它们的学习能力并促进协作。LENC解决了处理多样化训练数据分布以及单个DNN节点学习能力受限的挑战。它确保在学习新任务时能够利用最佳可用教师知识，并保护DNN节点免受灾难性遗忘。此外，该框架的创新之处在于实现了协作多任务知识蒸馏，同时解决了任务无关持续学习的问题，因为DNN节点没有任务边界的信息。在概念验证实现上的实验评估展示了LENC框架在多种DNN学习和推理场景中的功能和优势。所进行的实验表明，通过适当利用所有节点对等体的集体知识，该框架能够逐步最大化图像分类问题中交互DNN节点社区的平均测试准确率。LENC框架在在线无标签CKD任务中达到了最先进的性能。
引用
@article{arxiv.2410.00074,
title = {Collaborative Knowledge Distillation via a Learning-by-Education Node Community},
author = {Anestis Kaimakamidis and Ioannis Mademlis and Ioannis Pitas},
journal= {arXiv preprint arXiv:2410.00074},
year = {2024}
}