分布式专家问题的通信界限
机器学习
2025-01-07 v1
摘要
本文研究了在分布式环境下专家问题，其中专家成本需要在多个服务器之间聚合。我们的研究考虑了各种通信模型，如消息传递模型和广播模型，以及多个聚合函数，如求和以及对专家成本在服务器上的 范数。我们提出了首批在这些设置下实现近最优 regret 的通信高效协议，即使对方可以自适应选择输入。此外，我们给出条件下界，表明我们的协议的通信量几乎是最优的。最后，我们实现了这些协议并在 HPO-B 基准上展示了经验性节省。
关键词
引用
@article{arxiv.2501.03132,
title = {Communication Bounds for the Distributed Experts Problem},
author = {Zhihao Jia and Qi Pang and Trung Tran and David Woodruff and Zhihao Zhang and Wenting Zheng},
journal= {arXiv preprint arXiv:2501.03132},
year = {2025}
}
备注
38th Conference on Neural Information Processing Systems (NeurIPS 2024)