论去中心化数据下在线模型选择中协作的必要性
机器学习
2024-10-08 v4
摘要
我们考虑在 个客户端上具有去中心化数据的在线模型选择，并研究客户端之间协作的必要性。先前的工作提出了各种联邦算法而没有证明其必要性，而我们从计算约束的新颖角度回答了这个问题。我们证明了遗憾度的下界，并提出了一种联邦算法并分析了其上界。我们的结果表明 (i) 在客户端没有计算约束的情况下，协作是不必要的；(ii) 如果每个客户端上的计算成本限制为 ，其中 是候选假设空间的数量，则协作是必要的。我们阐明了先前用于分布式在线多核学习的联邦算法中协作的不必要性，并以更小的计算和通信成本改进了遗憾度界限。我们的算法依赖于三种新技术，包括改进的鞅伯恩斯坦不等式、联邦在线镜像下降框架以及解耦模型选择和预测，这可能具有独立的意义。
引用
@article{arxiv.2404.09494,
title = {On the Necessity of Collaboration for Online Model Selection with Decentralized Data},
author = {Junfan Li and Zheshun Wu and Zenglin Xu and Irwin King},
journal= {arXiv preprint arXiv:2404.09494},
year = {2024}
}