我们能否泛化并分布式地学习私有表示？
机器学习
2022-02-01 v5 计算机视觉与模式识别
多智能体系统
机器学习
摘要
我们研究学习既私有又具信息量的表示的问题，即为预期的“盟友”目标提供信息同时隐藏敏感的“对手”属性。我们提出排除-包含生成对抗网络（EIGAN），一种通用的私有表示学习（PRL）架构，与现有 PRL 方案不同，它考虑了多个盟友和对手属性。虽然集中聚合的数据集是大多数 PRL 技术的先决条件，但现实世界中的数据通常孤立在多个分布式节点中，由于隐私顾虑而不愿共享原始数据。我们通过开发 D-EIGAN 来解决这一实际约束，这是第一种分布式 PRL 方法，在每个节点上学习表示而无需传输源数据。我们从理论上分析了在最优 EIGAN 和 D-EIGAN 编码器下对手的行为，以及盟友与对手任务间依赖关系对优化目标的影响。我们在多个数据集上的实验展示了 EIGAN 在性能、鲁棒性和可扩展性方面的优势。特别地，EIGAN 以显著的准确率优势（47% 提升）超越先前最先进水平，且 D-EIGAN 在不同网络设置下的性能始终与 EIGAN 相当。
引用
@article{arxiv.2010.01792,
title = {Can we Generalize and Distribute Private Representation Learning?},
author = {Sheikh Shams Azam and Taejin Kim and Seyyedali Hosseinalipour and Carlee Joe-Wong and Saurabh Bagchi and Christopher Brinton},
journal= {arXiv preprint arXiv:2010.01792},
year = {2022}
}
备注
In Proceedings of the 25th International Conference on Artificial Intelligence and Statistics (AISTATS) 2022