分布式优化中的效率提升：重新构想邻域聚合与最小开销
机器学习
2025-09-29 v1 人工智能
摘要
在当今数据敏感的环境中，分布式学习作为一种重要工具，不仅强化了隐私保护措施，还简化了计算操作。这在完全去中心化基础设施中尤为重要，由于缺乏中心化聚合，本地处理是必需的。在这里，我们引入了DYNAWEIGHT，一个用于多智能体网络中信息聚合的新框架。DYNAWEIGHT在分布式学习中实现了显著加速，同时仅引入最小的额外通信和内存开销。与传统的静态权重分配（如Metropolis权重）不同，DYNAWEIGHT根据相邻服务器在本地数据集上的相对损失动态分配权重。因此，它有利于拥有多样化信息的服务器，特别是在数据异质性显著的场景中。我们在MNIST、CIFAR10和CIFAR100等不同数据集上的实验，结合多种服务器数量和图拓扑，展示了训练速度的显著提升。值得注意的是，DYNAWEIGHT作为与任何底层服务器级优化算法兼容的聚合方案，凸显了其多功能性和广泛集成的潜力。
引用
@article{arxiv.2509.22174,
title = {Efficiency Boost in Decentralized Optimization: Reimagining Neighborhood Aggregation with Minimal Overhead},
author = {Durgesh Kalwar and Mayank Baranwal and Harshad Khadilkar},
journal= {arXiv preprint arXiv:2509.22174},
year = {2025}
}