自适应可验证编码计算：迈向快速、安全且隐私保护的分布式机器学习
分布式、并行与集群计算
2024-03-21 v2 密码学与安全
信息论
机器学习
math.IT
摘要
掉队者、拜占庭worker和数据隐私是分布式云计算中的主要瓶颈。一些先前工作提出了编码计算策略以共同应对这三大挑战。它们要么需要大量worker，要么需要显著的通信开销或显著的计算复杂度来容忍拜占庭worker。先前方案中的大量开销源于将这三个问题的编码紧密耦合到单一框架中。在本文中，我们提出自适应可验证编码计算（AVCC）框架，将拜占庭节点检测挑战与掉队者容忍解耦。AVCC仅利用编码计算来处理掉队者和隐私，然后采用利用可验证计算来缓解拜占庭worker的正交方法。此外，AVCC动态调整其编码方案，以权衡掉队者容忍与拜占庭防护。我们在一个计算密集的分布式逻辑回归应用上评估AVCC。我们的实验表明，AVCC相比最先进的拉格朗日编码计算方案（LCC）实现了高达的加速和高达的准确率提升。AVCC还将传统未编码的分布式逻辑回归实现加速了高达，并将测试准确率提高了高达。
引用
@article{arxiv.2107.12958,
title = {Adaptive Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning},
author = {Tingting Tang and Ramy E. Ali and Hanieh Hashemi and Tynan Gangwani and Salman Avestimehr and Murali Annavaram},
journal= {arXiv preprint arXiv:2107.12958},
year = {2024}
}