混合以修复：异质性下最优拜占庭机器学习的方法
机器学习
2023-02-06 v1 分布式、并行与集群计算
摘要
拜占庭机器学习（ML）旨在确保分布式学习算法对行为不当（或拜占庭）机器的鲁棒性。尽管该问题已受到广泛关注，但先前的工作通常假设各机器持有的数据是同质的，而这在实际环境中很少成立。数据异质性使拜占庭 ML 变得更具挑战性，因为拜占庭机器很难与非拜占庭的离群点区分开来。已有少数解决方案被提出以应对此问题，但它们提供的概率保证次优，且在实践中表现不佳。本文弥补了这一理论差距，实现了最优性并带来了良好的实证结果。事实上，我们展示了如何通过一种强大的机制——我们称之为最近邻混合（NNM）——自动将现有的（同质）拜占庭 ML 解决方案适配到异质环境，该机制可增强任何标准的鲁棒分布式梯度下降变体，以在异质性下产生最优的拜占庭鲁棒性。通过将 NNM 嵌入分布式随机重球法（一种分布式梯度下降的实用替代方案），我们获得了（期望上的）类似保证。我们取得的实证结果显著优于当前最先进的拜占庭 ML 解决方案。
引用
@article{arxiv.2302.01772,
title = {Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity},
author = {Youssef Allouah and Sadegh Farhadkhani and Rachid Guerraoui and Nirupam Gupta and Rafael Pinot and John Stephan},
journal= {arXiv preprint arXiv:2302.01772},
year = {2023}
}
备注
Accepted paper at AISTATS 2023