面向拜占庭鲁棒分布式推断的方差缩减均值中位数估计器
机器学习
2021-03-05 v1 机器学习
统计方法学
摘要
本文开发了一种高效的分布式推断算法，其对中等比例的拜占庭节点(即分布式学习系统中任意且可能对抗的机器)具有鲁棒性。在鲁棒统计学中，均值中位数(MOM)因其易于实现与计算高效而成为抵御拜占庭失效的流行方法。然而，MOM估计器在统计效率方面存在不足。本文的第一个主要贡献是提出方差缩减均值中位数(VRMOM)估计器，其在统计效率上优于原始MOM估计器，且计算上与MOM一样高效。基于所提VRMOM估计器，我们开发了针对拜占庭失效鲁棒的通用分布式推断算法。理论上，我们的分布式算法仅需常数轮通信即可达到快速收敛速率。我们还提供了用于统计推断的渐近正态性结果。据我们所知，这是拜占庭鲁棒分布式学习设定下的首个正态性结果。仿真结果也用以说明方法的有效性。
引用
@article{arxiv.2103.02860,
title = {Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference},
author = {Jiyuan Tu and Weidong Liu and Xiaojun Mao and Xi Chen},
journal= {arXiv preprint arXiv:2103.02860},
year = {2021}
}
备注
64 pages, 3 figures