单样本客户端的私有分布式回归调制学习

本工作聚焦于从大量仅持单一样本数据的设备上进行学习的场景。诸如健身追踪器、数据/应用使用聚合器、佩戴式感知设备和日常事件监视器等，都属于此一样本/客户端配置的实际应用。当客户端仅拥有单一个样本时，标准的联邦学习范式就会失效，因为基于该单点的数据本地更新在模型系数估计的早期轮次中远远不够有用，尤其是当每轮都施加了进一步削弱其效用的隐私性噪声时。这一效用更是因每轮的隐私性噪声而进一步削弱。本工作旨在解决此问题，使此类客户端能够在不泄露其数据隐私的前提下，协同贡献以有效学习全局模型。我们的方法在每个客户端注入一个经过精心校准的单一噪声扰动，以变形该客户端的样本，然后进行后处理以获得可与服务器共享的表示。这些在服务器上聚合的表示被处理以获得无偏梯度更新，其期望值与非私有集中式梯度相匹配，同时保持数据隐私。这一方法不同于传统的私有联邦学习，其中通信有效负载涉及模型系数，而非经过隐私变形的数据样本。该方法使拥有极限数据资源的设备能够在无需大量本地数据集或牺牲个体隐私的情况下，协作学习准确的隐私保留模型。