DPA 负载均衡器：面向数据并行基于 Actor 系统的负载均衡

在本项目中，我们探索在流式框架中动态负载均衡 actor 的方法。这用于解决可能导致掉队者的输入数据倾斜。我们持续监控 actor 的输入队列长度以衡量负载，并在检测到掉队者时使用一致性哈希在 reducer 间重新分配输入。为确保重分配后处理的一致性，我们采用结合输入转发与处理末尾状态合并步骤的方法。我们表明该方法可大幅缓解倾斜数据下的掉队者问题。