Canoe：面向神经网络协同学习的系统
机器学习
2021-08-31 v2 分布式、并行与集群计算
摘要
对于边缘计算等高度分布式环境，协同学习方法避开对全局共享模型的依赖，转而支持为每个位置定制的模型。为个体学习环境创建定制模型减少了数据传输量，而对等体之间的协作提供了可接受的模型性能。然而，协作假设知识迁移机制的可用性，这对于深度学习模型并非易事，因为知识不易归因于精确的模型切片。我们提出Canoe——一个促进神经网络知识迁移的框架。Canoe提供了新的系统支持，用于从辅助节点的神经网络中动态提取重要参数，并将其与基于多模型提升的方法结合，以改善目标节点的预测性能。使用不同PyTorch和TensorFlow神经网络模型对Canoe的评估表明，与孤立学习相比，知识迁移机制将模型对变化的适应性提高了至多3.5倍，同时与联邦学习相比，数据移动成本降低了数个数量级。
引用
@article{arxiv.2108.12124,
title = {Canoe : A System for Collaborative Learning for Neural Nets},
author = {Harshit Daga and Yiwen Chen and Aastha Agrawal and Ada Gavrilovska},
journal= {arXiv preprint arXiv:2108.12124},
year = {2021}
}