MetaGater：基于联邦元学习的条件通道门控网络快速学习
机器学习
2020-12-01 v2 人工智能
分布式、并行与集群计算
摘要
尽管深度学习在许多AI应用中取得了显著成功，但其庞大的模型规模和密集的计算需求对资源受限节点上的部署构成了严峻挑战。近来，计算高效的学习方法（如量化、剪枝和通道门控）受到越来越多的关注。然而，大多数现有技术无法快速适应不同任务。本文倡导一种整体方法，联合训练骨干网络与通道门控，从而针对给定数据输入动态选择滤波器子集以进行更高效的本地计算。特别地，我们开发了一种联邦元学习方法，通过利用不同节点上学习任务间的模型相似性，联合学习骨干网络和门控模块的良好元初始化。这样，学习到的元门控模块有效捕获了良好元骨干网络的重要滤波器，基于此，特定任务的条件通道门控网络可通过两步过程从元初始化中利用该任务的新样本经一步梯度下降快速适配。所提联邦元学习算法的收敛性在温和条件下得到证明。实验结果证实了我们的方法相对于相关工作的有效性。
引用
@article{arxiv.2011.12511,
title = {MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning},
author = {Sen Lin and Li Yang and Zhezhi He and Deliang Fan and Junshan Zhang},
journal= {arXiv preprint arXiv:2011.12511},
year = {2020}
}