遍历学习：一种无损高效的分布式学习框架
机器学习
2025-09-11 v2 分布式、并行与集群计算
摘要
本文介绍了遍历学习，一种旨在解决联邦学习、分割学习和SplitFed学习等流行分布式学习范式中出现的质量下降问题的新方法。传统联邦学习由于平均函数在聚合过程中会出现准确率下降，而分割学习和SplitFed学习则因每个分割网络上的独立梯度更新而导致损失增加。遍历学习采用了一种独特策略：模型在前向传播过程中遍历节点，并在编排器上执行反向传播，从而在分布式环境中有效实现集中式学习原则。编排器负责生成虚拟批次，并在前向传播期间规划模型的顺序节点访问，使其与这些批次中数据的排序索引对齐。我们在代表不同领域多样特征的六个数据集上进行了实验。评估表明，遍历学习在准确推理方面与经典集中式学习方法相当，从而为分布式学习任务提供了一种可行且稳健的解决方案。遍历学习优于其他分布式学习方法，在独立同分布数据集上准确率提高了7.85%，在非独立同分布数据集上宏F1分数提高了1.06%，在文本分类上准确率提高了2.60%，在医疗和金融数据集上AUC分别提高了3.88%和4.54%。通过有效保护数据隐私同时保持性能，遍历学习代表了分布式学习方法论的重要进步。遍历学习的实现代码可在https://github.com/neouly-inc/Traversal-Learning获取。
引用
@article{arxiv.2504.07471,
title = {Traversal Learning: A Lossless And Efficient Distributed Learning Framework},
author = {Erdenebileg Batbaatar and Jeonggeol Kim and Yongcheol Kim and Young Yoon},
journal= {arXiv preprint arXiv:2504.07471},
year = {2025}
}