中文

基于极化码的抗掉队者无服务器计算

信息论 2019-07-16 v2 分布式、并行与集群计算 机器学习 math.IT

摘要

我们提出了一种基于极化码的无服务器分布式计算机制。无服务器计算是一种新兴的基于云计算的模型,让用户无需配置或管理服务器即可在云上运行其函数。我们提出的方法是一种混合计算框架,利用无服务器计算执行计算代价高昂的任务(如涉及大规模数据的线性代数运算),其余处理在本地完成。我们利用编码理论解决了无服务器平台的局限性与可靠性问题(如掉队工作者),借鉴了近期关于编码计算文献中的思想。所提出的机制使用极化码以计算高效的方式确保抗掉队性。我们提供了大量证据表明极化码优于其他编码方法。我们专门设计了一种用于擦除信道中全精度输入输出的极化码序贯译码器。此外,我们将所提方法推广到两个相乘矩阵均被编码的矩阵乘法情形。所提出的编码计算方案在 AWS Lambda 上实现。给出了在通过梯度下降进行优化时测试该编码计算技术性能的实验结果。最后,我们引入了部分极化的思想,以牺牲抗掉队性为代价降低编解码的计算负担。

关键词

引用

@article{arxiv.1901.06811,
  title  = {Straggler Resilient Serverless Computing Based on Polar Codes},
  author = {Burak Bartan and Mert Pilanci},
  journal= {arXiv preprint arXiv:1901.06811},
  year   = {2019}
}

备注

New results added in the new version. More discussion on serverless computing