基于分割学习的多重分类
机器学习
2020-09-14 v3 机器学习
摘要
在医疗、出行等领域训练深度学习的过程中出现了隐私问题。为解决该问题，我们提出保护隐私的分布式深度学习方法，使客户端能够学习多种数据而无需直接暴露。我们将单一深度学习架构划分为公共提取器、云模型与本地分类器以进行分布式学习。首先，本地客户端所用的公共提取器从输入数据中提取安全特征。这些安全特征亦起到使云模型能够处理多种任务与异构数据的作用。特征包含了有助于执行各类任务的最重要信息。其次，包含整体训练模型大部分结构的云模型从海量本地客户端获取嵌入特征，并执行计算代价高昂的大部分深度学习操作。云模型中的操作完成后，其输出回传至本地客户端。最后，本地分类器确定分类结果并将结果交付本地客户端。当客户端训练模型时，我们的模型不直接将敏感信息暴露给外部网络。测试中，相较现有本地训练模型平均性能提升 2.63%。然而，在分布式环境中，因特征暴露存在逆袭攻击的可能。为此，我们对公共提取器进行实验以防止数据复原。通过调整公共提取器的深度测试了原始图像复原的质量。结果表明，公共提取器越深，复原分数降至 89.74。
引用
@article{arxiv.2008.09874,
title = {Multiple Classification with Split Learning},
author = {Jongwon Kim and Sungho Shin and Yeonguk Yu and Junseok Lee and Kyoobin Lee},
journal= {arXiv preprint arXiv:2008.09874},
year = {2020}
}