基于表示共享的可扩展协作学习

隐私保护机器学习已成为多方人工智能的一个关键难题。联邦学习（FL）和分割学习（SL）是两种能够在保持数据私有（在设备上）的同时实现协作学习的框架。在 FL 中，每个数据持有者在本地训练模型并将其发布到中央服务器进行聚合。在 SL 中，客户端必须向服务器释放各自的切层激活（smashed data）并等待其响应（在推理和反向传播期间均如此）。尽管在若干场景中相关，这两种方案都具有较高的通信代价，依赖服务器级计算算法，且不允许可调的协作级别。在本工作中，我们提出一种新颖的隐私保护机器学习方法，其中客户端通过采用对比损失（相对于标签的对比）的在线知识蒸馏进行协作。目标是确保参与方在不共享其输入数据的情况下，在相似类别上学习到相似特征。为此，每个客户端将相似标签的平均最后隐藏层激活释放给仅充当中继（即不参与模型训练或聚合）的中央服务器。然后，客户端下载全体用户的这些最后层激活（特征表示），并使用对比目标将知识蒸馏到其个人模型中。对于跨设备应用（即小型本地数据集和有限计算能力），与独立学习及其他联邦知识蒸馏（FD）方案相比，该方法提升了模型的效用，通信高效，且随客户端数量可扩展。我们从理论上证明我们的框架是适定的，并在多个数据集上使用不同模型架构将其性能与标准 FD 和 FL 进行基准比较。