实验设计网络:网络约束下服务异构学习者的范式
网络与互联网体系结构
2022-01-14 v1
摘要
边缘计算能力的显著进步使得学习能够在地理上分散的地点进行。一般而言,这些学习任务所需的训练数据不仅异构,而且并非完全在本地生成。本文中,我们提出一种实验设计网络范式,其中学习者节点通过消费由数据源节点在网络上生成的数据流来训练可能不同的贝叶斯线性回归模型。我们将此问题表述为一个社会福利优化问题,其全局目标定义为各学习者实验设计目标之和,决策变量为受网络约束的数据传输策略。我们首先证明,在 Poisson 数据流假设下,全局目标是一个连续的 DR-次模函数。随后我们提出一种 Frank-Wolfe 型算法,其输出的解与最优解相差在 1-1/e 因子以内。我们的算法包含一个新颖的梯度估计组件,该组件基于 Poisson 尾界与采样精心设计的。最后,我们通过大量实验补充了我们的理论发现。数值评估表明,所提算法在最大化全局目标和训练模型质量两方面均优于若干基线算法。
引用
@article{arxiv.2201.04830,
title = {Experimental Design Networks: A Paradigm for Serving Heterogeneous Learners under Networking Constraints},
author = {Yuezhou Liu and Yuanyuan Li and Lili Su and Edmund Yeh and Stratis Ioannidis},
journal= {arXiv preprint arXiv:2201.04830},
year = {2022}
}
备注
Extended version of paper accepted by INFOCOM 2022