中文

守护中间层:保护联邦分层学习中的中间表示

机器学习 2026-02-20 v1 分布式、并行与集群计算

摘要

大规模场景中,massive、异构的数据集分布在客户端,要求可扩展且隐私保护的学习方法。联邦学习(FL)使机器学习(ML)模型能够在客户端之间进行去中心化训练,而无需数据集中化。然而,去中心化训练会在客户端设备上引入计算负担。U 型联邦分层学习(UFSL)将部分客户端计算卸载到服务器,同时保持数据和标签位于客户端侧。然而,由客户端与服务器共享的中间表示(即 smashed data)容易暴露客户端的私人数据。为减少通过中间数据表示暴露客户端数据的风险,本工作提出了 k 匿名差分隐私 UFSL(KD-UFSL),其利用微聚类和差分隐私等隐私增强技术来最小化从 smashed data 传输到服务器的数据泄露。我们首先演示了对手能够通过中间表示获取私人客户端数据的 data-reconstruction 攻击,然后提出了 KD-UFSL 隐私增强解决方案以缓解此风险。我们的实验表明,KD-UFSL 在某些情况下将实际与重建图像之间的均方误差提高最高可达 50%,结构相似性降低最高可达 40%。更重要的是,KD-UFSL 在保持全局模型实用性的同时提高了隐私性。这凸显了其在隐私与实用性必须平衡的大规模大数据应用中的适用性。

关键词

引用

@article{arxiv.2602.17614,
  title  = {Guarding the Middle: Protecting Intermediate Representations in Federated Split Learning},
  author = {Obaidullah Zaland and Sajib Mistry and Monowar Bhuyan},
  journal= {arXiv preprint arXiv:2602.17614},
  year   = {2026}
}

备注

Accepted for Publication in IEEE International Conference on Big Data (IEEE BigData) 2025