联邦迁移学习性能的量化分析
分布式、并行与集群计算
2020-01-01 v1 机器学习
性能
机器学习
摘要
数据稀缺与数据孤岛现象促使不同组织相互共享数据以训练机器学习模型。然而，数据隐私与安全问题日益受到关注，这促使人们寻求如联邦迁移学习（FTL）般的方案，在不违反数据隐私的前提下共享训练数据。FTL利用迁移学习技术使用来自不同来源的数据进行训练，同时实现数据隐私保护且无显著精度损失。然而，这些收益伴随着额外计算与通信消耗的成本，导致效率问题。为在实际中高效部署并扩展FTL方案，我们需要深入理解基础设施如何影响FTL的效率。本文通过在Google Cloud上定量测量真实世界的FTL实现FATE，试图回答该问题。根据精心设计的实验结果，我们验证了以下瓶颈可进一步优化：1）进程间通信是主要瓶颈；2）数据加密增加可观计算开销；3）当模型较大时，互联网网络状况对性能影响很大。
引用
@article{arxiv.1912.12795,
title = {Quantifying the Performance of Federated Transfer Learning},
author = {Qinghe Jing and Weiyan Wang and Junxue Zhang and Han Tian and Kai Chen},
journal= {arXiv preprint arXiv:1912.12795},
year = {2020}
}