LightSplit：通过正交投影实现实用的隐私保留分离学习
机器学习
2026-05-14 v1
摘要
分离学习 (SL) 通过在客户端和中心服务器之间对神经网络进行分区来实现协作训练，但 cut 层接口引入了一个关键挑战：高维激活导致通信开销大，同时暴露了易受重建攻击的表示。现有方法通常以效率或隐私为独立目标，依赖稀疏化、量化或噪声注入等额外机制。我们提出 LightSplit，通过在 cut 层应用轻量级固定正交随机投影来限制信息暴露并减少通信开销。基于 Shannon 信息论，此投影充当信息瓶颈，限制实例特定信息并抑制可被利用的 per-sample 信号。通过传输低维投影而非原始激活，服务器在无需架构修改的情况下即可使用提升后的表示进行操作，确保与现有 SL 架构的兼容性。通过避免在客户端上额外的可训练组件，该方法保持轻量级，适用于边缘设备，同时通过精确梯度传播保持端到端可微。由于投影是非可逆的，客户端不可逆地丢弃了部分原始表示，LightSplit 减少了可用于重建的信息，限制了信息暴露。我们在 IID 和非 IID 设置下对 LightSplit 在最新基准测试上进行了广泛评估，考虑各种投影维度和客户端规模。我们的结果表明，该方法在传输维度最高可降低 32 倍的情况下，仍保留超过 95% 的基线准确率，同时保持稳定的训练动力学。
引用
@article{arxiv.2605.13265,
title = {LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections},
author = {Mert Cihangiroglu and Alessandro Pegoraro and Phillip Rieger and Antonino Nocera and Ahmad-Reza Sadeghi},
journal= {arXiv preprint arXiv:2605.13265},
year = {2026}
}