异构 SplitEE：面向异构物联网设备的神经网络分层学习
机器学习
2026-01-27 v1 人工智能
摘要
深度神经网络的持续规模化在不同任务中显著提升了机器学习性能，但模型规模的增长大幅增加了训练过程的计算资源需求。因此，联邦学习和分层学习等分布式方法成为可扩展部署的关键范式。然而，现有分层学习方法假设客户端一致性且所有参与方的分层点统一，这严重限制了其在实际物联网系统中的应用——这些系统中设备的计算资源存在异构性。为此，本文提出 Hetero-SplitEE，一种使异构物联网设备能够并行协作训练共享深度神经网络的新方法。通过集成层次化训练中的异构性早期退出机制，我们的方法允许每个客户端根据其计算能力选择不同的分层点（切分层）。此外，我们提出两种协作训练策略，即顺序策略和平均策略，以促进不同分层点客户端之间的协作。顺序策略通过共享服务器模型进行顺序训练，以减少计算开销；平均策略则支持带周期性跨层聚合的并行客户端训练。在 CIFAR-10、CIFAR-100 和 STL-10 数据集上使用 ResNet-18 进行大量实验表明，我们的方法在保持竞争性能的同时，有效支持多样化的计算约束，为异构物联网生态系统中的协作深度学习部署提供了实用方案。
引用
@article{arxiv.2512.09313,
title = {Hetero-SplitEE: Split Learning of Neural Networks with Early Exits for Heterogeneous IoT Devices},
author = {Yuki Oda and Yuta Ono and Hiroshi Nakamura and Hideki Takase},
journal= {arXiv preprint arXiv:2512.09313},
year = {2026}
}
备注
8 pages. Accepted at MCSoC 2025