提升联邦学习在极度不平衡数据集上的鲁棒性

随着数据洪流的不断增长与深度神经网络的成功，分布式深度学习研究日益凸显。实现该分布式学习的两种常见方法是同步与异步权重更新。本稿中，我们探究了非常简化的同步权重更新机制。已观察到随着工作节点数增加，性能急剧退化。该效应在极端不平衡分类（如离群点检测）背景下被研究。实际情形中，i.i.d. 的假设条件可能不满足。也可能出现如离群点检测般的全局类不平衡情形，其中本地服务器接收到严重不平衡数据且可能未获任何少数类样本。此时，本地服务器中的 DNN 将完全偏向其所接收的多数类。这将严重影响参数服务器（实际不见任何数据）的学习。已观察到在并行设定下，若参数服务器使用现有联邦权重更新机制，性能随工作节点数增加急剧退化。这主要因为节点数增加时，某工作节点极可能仅获极少数据，要么不足以训练模型而不发生过拟合，要么具高度不平衡类分布。因此，本章引入自适应代价敏感动量平均概念作为该问题的变通方案。可见对所提系统，性能无退化或仅极小退化，而多数其他方法在此之前已跌至最低性能。