基于彩票假设的无监督预训练用于联邦学习中的模型压缩
网络与互联网体系结构
2022-02-11 v1 机器学习
摘要
联邦学习（FL）使得神经网络（NN）能够利用移动设备上的隐私敏感数据进行训练，同时将所有数据保留在其本地存储中。然而，FL 要求移动设备执行繁重的通信和计算任务，即设备被要求上传和下载大容量的 NN 模型并对其进行训练。本文提出了一种适用于 FL 的新型无监督预训练方法，旨在通过模型压缩来降低通信和计算成本。由于通信和计算成本高度依赖于 NN 模型的体积，在不降低模型性能的情况下减小其体积可以降低这些成本。所提出的预训练方法利用了无标签数据，预期从互联网或数据存储库中获取无标签数据比获取有标签数据容易得多。该方法的关键思想是基于彩票假设，利用无标签数据从原始 NN 中获取一个“好”的子网络。该方法使用去噪自编码器用无标签数据训练原始模型，然后剪枝原始模型中小幅值的参数，以生成一个小而好的子网络。使用图像分类任务对该方法进行了评估。结果表明，在达到一定测试精度时，该方法所需的流量和计算时间比以往方法少 35%。
引用
@article{arxiv.2004.09817,
title = {Lottery Hypothesis based Unsupervised Pre-training for Model Compression in Federated Learning},
author = {Sohei Itahara and Takayuki Nishio and Masahiro Morikura and Koji Yamamoto},
journal= {arXiv preprint arXiv:2004.09817},
year = {2022}
}