差分隐私联邦神经架构搜索
机器学习
2020-06-24 v2 密码学与安全
机器学习
摘要
旨在自动搜索使验证性能最大化的神经网络架构（如卷积、最大池化）的神经架构搜索最近取得了显著进展。在许多应用场景中，多方希望通过利用所有方的数据来协同搜索共享的神经架构。然而，出于隐私考虑，任何一方都不希望其数据被其他方看到。为了解决这个问题，我们提出了联邦神经架构搜索 (FNAS)，其中不同方通过交换架构变量的梯度来共同搜索可微架构，而无需将其数据暴露给其他方。为了进一步保护隐私，我们研究了差分隐私 FNAS (DP-FNAS)，它在架构变量的梯度中添加了随机噪声。我们提供了 DP-FNAS 在实现差分隐私方面的理论保证。实验表明，DP-FNAS 能够在保护各方隐私的同时搜索到高性能的神经架构。代码可在 https://github.com/UCSD-AI4H/DP-FNAS 获取。
引用
@article{arxiv.2006.10559,
title = {Differentially-private Federated Neural Architecture Search},
author = {Ishika Singh and Haoyi Zhou and Kunlin Yang and Meng Ding and Bill Lin and Pengtao Xie},
journal= {arXiv preprint arXiv:2006.10559},
year = {2020}
}