基于分层梯度码的掉队者缓解方法

编码理论技术已被提出用于多服务器上的同步梯度下降 (GD) 以缓解掉队者。这些技术提供了如下灵活性：当 $n$ 个服务器中的任意 $k$ 个完成其分配任务时作业即完成。每台服务器上的任务量依据 $k$ 和 $n$ 的值确定。然而，其假设在作业被请求时所有 $n$ 个作业均已启动。相反，我们假设一个分层系统，从 $n_1\ge k$ 个任务开始，在完成 $c$ 个任务后，再启动 $n_2-n_1$ 个额外任务。目标是只要 $k$ 台服务器能执行其任务，作业即可完成。本文利用并非所有服务器都在请求时刻启动的灵活性，得到各服务器上可实现的任务量。任务量一般低于在请求时刻启动全部 $n_2$ 个任务的情形，从而有助于降低任务量，进而减少作业完成时间与总服务器利用率。